論文の概要: Preserving Fine-Grain Feature Information in Classification via Entropic Regularization

• arxiv url: http://arxiv.org/abs/2208.03684v1
• Date: Sun, 7 Aug 2022 09:25:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 12:38:28.447191
• Title: Preserving Fine-Grain Feature Information in Classification via Entropic Regularization
• Title（参考訳）: エントロピー正規化による分類における細粒化特徴情報の保存
• Authors: Raphael Baena, Lucas Drumetz, Vincent Gripon
• Abstract要約: 標準的なクロスエントロピーは、粗い機能に過度に適合する可能性があることを示す。 エントロピーに基づく正規化を導入し、訓練されたモデルの特徴空間におけるさらなる多様性を促進する。
• 参考スコア（独自算出の注目度）: 10.358087436626391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Labeling a classification dataset implies to define classes and associated coarse labels, that may approximate a smoother and more complicated ground truth. For example, natural images may contain multiple objects, only one of which is labeled in many vision datasets, or classes may result from the discretization of a regression problem. Using cross-entropy to train classification models on such coarse labels is likely to roughly cut through the feature space, potentially disregarding the most meaningful such features, in particular losing information on the underlying fine-grain task. In this paper we are interested in the problem of solving fine-grain classification or regression, using a model trained on coarse-grain labels only. We show that standard cross-entropy can lead to overfitting to coarse-related features. We introduce an entropy-based regularization to promote more diversity in the feature space of trained models, and empirically demonstrate the efficacy of this methodology to reach better performance on the fine-grain problems. Our results are supported through theoretical developments and empirical validation.
• Abstract（参考訳）: 分類データセットのラベル付けは、クラスと関連する粗いラベルを定義することを意味する。 例えば、自然画像には複数のオブジェクトが含まれており、そのうちの1つだけが多くのビジョンデータセットにラベル付けされているか、クラスは回帰問題の離散化から生じる可能性がある。 このような粗いラベルの分類モデルのトレーニングにクロスエントロピーを使用することは、機能空間を大まかに切り抜ける可能性が高く、そのような特徴、特に基礎となる細粒度タスクに関する情報を失うことを無視する可能性がある。 本稿では,粗粒ラベルのみを訓練したモデルを用いて,微粒分類や回帰の問題を解くことに関心がある。 標準クロスエントロピーは粗い特徴に過剰適合する可能性がある。 我々は,訓練モデルの特徴空間におけるより多様性を促進するために,エントロピーに基づく正則化を導入し,この手法の有効性を実証的に実証する。 この結果は理論的発展と実証的検証によって裏付けられる。

関連論文リスト

• Enhancing Fine-Grained Visual Recognition in the Low-Data Regime Through Feature Magnitude Regularization [23.78498670529746]
  抽出した特徴量の均等分布を保証するために正規化手法を導入する。 その明らかな単純さにもかかわらず、我々の手法は様々な細粒度視覚認識データセットに対して顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2024-09-03T07:32:46Z)
• For Better or For Worse? Learning Minimum Variance Features With Label Augmentation [7.183341902583164]
  本研究では,データ拡張手法のラベル拡張の側面が果たす役割を解析する。 まず、ラベル拡張で訓練されたバイナリ分類データの線形モデルが、データ内の最小分散特性のみを学ぶことを証明した。 次に, 非線形モデルや一般データ分布においても, ラベルの平滑化や混合損失はモデル出力分散の関数によって低く抑えられることを示す。
  論文  参考訳（メタデータ） (2024-02-10T01:36:39Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Graph Attention Transformer Network for Multi-Label Image Classification [50.0297353509294]
  複雑なラベル間関係を効果的にマイニングできる多ラベル画像分類のための一般的なフレームワークを提案する。 提案手法は3つのデータセット上で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-03-08T12:39:05Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Model-Change Active Learning in Graph-Based Semi-Supervised Learning [5.174023161939957]
  モデル変更」アクティブラーニングは、追加ラベルを導入して得られた変化を定量化する 後方分布のラプラス近似を用いて, 取得関数を効率的に近似できる凸損失関数の族を考える。
  論文  参考訳（メタデータ） (2021-10-14T21:47:10Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Towards Robust Classification Model by Counterfactual and Invariant Data Generation [7.488317734152585]
  純粋さは、一部の特徴がラベルと相関するが因果関係がないときに起こる。 本稿では2つのデータ生成プロセスを提案する。 我々のデータ生成は、スプリアス相関が壊れたときの精度で最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-06-02T12:48:29Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。