論文の概要: Preserving Fine-Grain Feature Information in Classification via Entropic
Regularization
- arxiv url: http://arxiv.org/abs/2208.03684v1
- Date: Sun, 7 Aug 2022 09:25:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 12:38:28.447191
- Title: Preserving Fine-Grain Feature Information in Classification via Entropic
Regularization
- Title(参考訳): エントロピー正規化による分類における細粒化特徴情報の保存
- Authors: Raphael Baena, Lucas Drumetz, Vincent Gripon
- Abstract要約: 標準的なクロスエントロピーは、粗い機能に過度に適合する可能性があることを示す。
エントロピーに基づく正規化を導入し、訓練されたモデルの特徴空間におけるさらなる多様性を促進する。
- 参考スコア(独自算出の注目度): 10.358087436626391
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Labeling a classification dataset implies to define classes and associated
coarse labels, that may approximate a smoother and more complicated ground
truth. For example, natural images may contain multiple objects, only one of
which is labeled in many vision datasets, or classes may result from the
discretization of a regression problem. Using cross-entropy to train
classification models on such coarse labels is likely to roughly cut through
the feature space, potentially disregarding the most meaningful such features,
in particular losing information on the underlying fine-grain task. In this
paper we are interested in the problem of solving fine-grain classification or
regression, using a model trained on coarse-grain labels only. We show that
standard cross-entropy can lead to overfitting to coarse-related features. We
introduce an entropy-based regularization to promote more diversity in the
feature space of trained models, and empirically demonstrate the efficacy of
this methodology to reach better performance on the fine-grain problems. Our
results are supported through theoretical developments and empirical
validation.
- Abstract(参考訳): 分類データセットのラベル付けは、クラスと関連する粗いラベルを定義することを意味する。
例えば、自然画像には複数のオブジェクトが含まれており、そのうちの1つだけが多くのビジョンデータセットにラベル付けされているか、クラスは回帰問題の離散化から生じる可能性がある。
このような粗いラベルの分類モデルのトレーニングにクロスエントロピーを使用することは、機能空間を大まかに切り抜ける可能性が高く、そのような特徴、特に基礎となる細粒度タスクに関する情報を失うことを無視する可能性がある。
本稿では,粗粒ラベルのみを訓練したモデルを用いて,微粒分類や回帰の問題を解くことに関心がある。
標準クロスエントロピーは粗い特徴に過剰適合する可能性がある。
我々は,訓練モデルの特徴空間におけるより多様性を促進するために,エントロピーに基づく正則化を導入し,この手法の有効性を実証的に実証する。
この結果は理論的発展と実証的検証によって裏付けられる。
関連論文リスト
- Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。
従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。
ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。
提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
論文 参考訳(メタデータ) (2022-08-04T10:22:24Z) - Graph Attention Transformer Network for Multi-Label Image Classification [50.0297353509294]
複雑なラベル間関係を効果的にマイニングできる多ラベル画像分類のための一般的なフレームワークを提案する。
提案手法は3つのデータセット上で最先端の性能を実現することができる。
論文 参考訳(メタデータ) (2022-03-08T12:39:05Z) - Label Hallucination for Few-Shot Classification [40.43730385915566]
ほとんどショットの分類では、新しい未知のクラスを認識するために、大きな注釈付きベースデータセットから学んだ知識を適応する必要がある。
これら2つの戦略に代替的なアプローチを提案する。
提案手法は, 精度の高い4つの複数ショット分類ベンチマークにおいて, 最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-12-06T20:18:41Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳(メタデータ) (2021-10-31T16:15:09Z) - Model-Change Active Learning in Graph-Based Semi-Supervised Learning [7.208515071018781]
モデル変更」能動学習は、追加ラベルを導入して分類器に生じる結果の変化を定量化する
後方分布のラプラス近似を用いて, 取得関数を効率的に近似できる凸損失関数の族を考える。
論文 参考訳(メタデータ) (2021-10-14T21:47:10Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳(メタデータ) (2021-10-09T13:56:48Z) - Towards Robust Classification Model by Counterfactual and Invariant Data
Generation [7.488317734152585]
純粋さは、一部の特徴がラベルと相関するが因果関係がないときに起こる。
本稿では2つのデータ生成プロセスを提案する。
我々のデータ生成は、スプリアス相関が壊れたときの精度で最先端の手法より優れています。
論文 参考訳(メタデータ) (2021-06-02T12:48:29Z) - Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。
旧知識保存のための重み付きユークリッド正規化を提案する。
新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
論文 参考訳(メタデータ) (2020-12-15T07:26:04Z) - Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文 参考訳(メタデータ) (2020-11-16T05:17:29Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。