論文の概要: Granularity Matters in Long-Tail Learning

• arxiv url: http://arxiv.org/abs/2410.15980v1
• Date: Mon, 21 Oct 2024 13:06:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:18:24.116122
• Title: Granularity Matters in Long-Tail Learning
• Title（参考訳）: 長期学習における粒度問題
• Authors: Shizhen Zhao, Xin Wen, Jiahui Liu, Chuofan Ma, Chunfeng Yuan, Xiaojuan Qi,
• Abstract要約: より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
• 参考スコア（独自算出の注目度）: 62.30734737735273
• License:
• Abstract: Balancing training on long-tail data distributions remains a long-standing challenge in deep learning. While methods such as re-weighting and re-sampling help alleviate the imbalance issue, limited sample diversity continues to hinder models from learning robust and generalizable feature representations, particularly for tail classes. In contrast to existing methods, we offer a novel perspective on long-tail learning, inspired by an observation: datasets with finer granularity tend to be less affected by data imbalance. In this paper, we investigate this phenomenon through both quantitative and qualitative studies, showing that increased granularity enhances the generalization of learned features in tail categories. Motivated by these findings, we propose a method to increase dataset granularity through category extrapolation. Specifically, we introduce open-set auxiliary classes that are visually similar to existing ones, aiming to enhance representation learning for both head and tail classes. This forms the core contribution and insight of our approach. To automate the curation of auxiliary data, we leverage large language models (LLMs) as knowledge bases to search for auxiliary categories and retrieve relevant images through web crawling. To prevent the overwhelming presence of auxiliary classes from disrupting training, we introduce a neighbor-silencing loss that encourages the model to focus on class discrimination within the target dataset. During inference, the classifier weights for auxiliary categories are masked out, leaving only the target class weights for use. Extensive experiments and ablation studies on three standard long-tail benchmarks demonstrate the effectiveness of our approach, notably outperforming strong baseline methods that use the same amount of data. The code will be made publicly available.
• Abstract（参考訳）: 長期データの分散に関するトレーニングのバランスは、ディープラーニングにおける長年の課題である。 再重み付けや再サンプリングといった手法は不均衡の問題を軽減するのに役立っているが、限られたサンプルの多様性はモデルが堅牢で一般化可能な特徴表現(特に尾のクラス)を学ぶことを妨げ続けている。 従来の手法とは対照的に、観察にインスパイアされた、長い尾の学習に関する新しい視点を提供する: 粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向がある。 本稿では,この現象を定量的および定性的研究の両方を通じて検討し,粒度の増加が尾部カテゴリにおける学習特徴の一般化を促進することを示す。 そこで本研究では,カテゴリ外挿によるデータセットの粒度向上手法を提案する。 具体的には、既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とする。 これは私たちのアプローチのコアコントリビューションと洞察を形成します。 補助データのキュレーションを自動化するため,大規模言語モデル(LLM)を知識ベースとして活用し,補助カテゴリの検索とWebクローリングによる関連画像の検索を行う。 補助授業の圧倒的な存在がトレーニングを損なうのを防ぐために,モデルがターゲットデータセット内のクラス識別に焦点を合わせるように,近隣のサイレンシング損失を導入する。 推論中、補助カテゴリーの分類器重量はマスクアウトされ、ターゲットクラス重量のみが使用される。 3つの標準長テールベンチマークの大規模な実験とアブレーション研究は、我々のアプローチの有効性を示し、特に、同じ量のデータを使用する強力なベースライン手法よりも優れている。 コードは公開されます。

関連論文リスト

• LCReg: Long-Tailed Image Classification with Latent Categories based Recognition [81.5551335554507]
  本稿では,Lar-tail Recognition(LCReg)法を提案する。 我々の仮説は、頭と尾のクラスで共有される一般的な潜伏的特徴は、特徴表現を改善するために使用できるというものである。 具体的には、頭と尾の両方で共有されるクラス非依存の潜伏特徴の集合を学習し、潜伏特徴のセマンティックデータ拡張を用いてトレーニングサンプルの多様性を暗黙的に増加させる。
  論文  参考訳（メタデータ） (2023-09-13T02:03:17Z)
• Towards Long-Tailed Recognition for Graph Classification via Collaborative Experts [10.99232053983369]
  我々は,CoMe(Collaborative Multi-expert Learning)を用いたグラフレベル分類フレームワークを提案する。 頭と尾の授業のコントリビューションを均衡させるために,まず表現学習の観点から,バランスの取れたコントラスト学習を開発する。 マルチエキスパートフレームワークにおける協調を促進するために,複数の専門家の間でゲート融合・アンタングルド知識蒸留を実施している。
  論文  参考訳（メタデータ） (2023-08-31T10:12:32Z)
• Propheter: Prophetic Teacher Guided Long-Tailed Distribution Learning [44.947984354108094]
  本稿では,より深いネットワークの学習を外部の事前知識で導くことによってボトルネックを突破する,革新的なロングテール学習パラダイムを提案する。 提案された予言的パラダイムは、長い尾のデータセットにおける限られたクラス知識の挑戦に対する有望な解決策として機能する。
  論文  参考訳（メタデータ） (2023-04-09T02:02:19Z)
• Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
  分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。 予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
  論文  参考訳（メタデータ） (2022-12-03T07:52:48Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• The Devil is the Classifier: Investigating Long Tail Relation Classification with Decoupling Analysis [36.298869931803836]
  ロングテール関係分類は、ヘッドクラスがトレーニングフェーズを支配しているため、難しい問題である。 そこで本研究では,関係を自動的に集約することで,ソフトウェイトを割り当てる,注意関係ルーティング付きロバストな分類器を提案する。
  論文  参考訳（メタデータ） (2020-09-15T12:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。