論文の概要: Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems
- arxiv url: http://arxiv.org/abs/2210.01000v1
- Date: Mon, 3 Oct 2022 15:09:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 18:13:26.884658
- Title: Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems
- Title（参考訳）: 相互学習型分類器:深層学習分類システムの学習における情報理論的視点
- Authors: Jirong Yi, Qiaosheng Zhang, Zhen Chen, Qiao Liu, Wei Shao
- Abstract要約: クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。
本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。
ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 9.660129425150926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning systems have been reported to acheive state-of-the-art
performances in many applications, and one of the keys for achieving this is
the existence of well trained classifiers on benchmark datasets which can be
used as backbone feature extractors in downstream tasks. As a main-stream loss
function for training deep neural network (DNN) classifiers, the cross entropy
loss can easily lead us to find models which demonstrate severe overfitting
behavior when no other techniques are used for alleviating it such as data
augmentation. In this paper, we prove that the existing cross entropy loss
minimization for training DNN classifiers essentially learns the conditional
entropy of the underlying data distribution of the dataset, i.e., the
information or uncertainty remained in the labels after revealing the input. In
this paper, we propose a mutual information learning framework where we train
DNN classifiers via learning the mutual information between the label and
input. Theoretically, we give the population error probability lower bound in
terms of the mutual information. In addition, we derive the mutual information
lower and upper bounds for a concrete binary classification data model in
$\mbR^n$, and also the error probability lower bound in this scenario. Besides,
we establish the sample complexity for accurately learning the mutual
information from empirical data samples drawn from the underlying data
distribution. Empirically, we conduct extensive experiments on several
benchmark datasets to support our theory. Without whistles and bells, the
proposed mutual information learned classifiers (MILCs) acheive far better
generalization performances than the state-of-the-art classifiers with an
improvement which can exceed more than 10\% in testing accuracy.
- Abstract（参考訳）: ディープラーニングシステムは、多くのアプリケーションで最先端のパフォーマンスを損なうと報告されており、これを達成する鍵の1つは、ダウンストリームタスクでバックボーン機能抽出器として使用できるベンチマークデータセットによく訓練された分類器が存在することである。
ディープニューラルネットワーク(DNN)分類器をトレーニングするためのメインストリーム損失関数として、クロスエントロピー損失は、データ拡張などの緩和に他のテクニックが使われない場合に、厳しいオーバーフィッティング動作を示すモデルを見つけるのに役立ちます。
本稿では,dnn分類器の訓練のための既存のクロスエントロピー損失最小化が,基本的にデータセットの基盤となるデータ分布の条件エントロピー,すなわち,入力を明かした後ラベルに残されている情報や不確かさを学習することを証明する。
本稿では,ラベルと入力の相互情報を学習することで,DNN分類器を訓練する相互情報学習フレームワークを提案する。
理論的には、相互情報の観点から、人口誤差確率を低くする。
さらに,具体的な二項分類データモデルに対する相互情報の下限と上限を$\mbR^n$で導出し,このシナリオでは誤差確率下限も導出する。
また,基礎となるデータ分布から抽出した経験的データサンプルから相互情報を正確に学習するためのサンプル複雑性を確立する。
経験的に、我々は理論をサポートするためにいくつかのベンチマークデータセットで広範囲な実験を行う。
提案した相互情報学習型分類器 (MILC) は, 最先端の分類器よりもはるかに優れた一般化性能を示し, 精度が10%以上向上した。
関連論文リスト
- XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。
6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文 参考訳（メタデータ） (2023-10-09T08:07:04Z) - Informative regularization for a multi-layer perceptron RR Lyrae
classifier under data shift [3.303002683812084]
本稿では,情報正規化とアドホックなトレーニング手法に基づくスケーラブルで容易に適応可能なアプローチを提案し,シフト問題を緩和する。
提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
論文 参考訳（メタデータ） (2023-03-12T02:49:19Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
既存のクロスエントロピー損失最小化問題は,基礎となるデータ分布のラベル条件エントロピーを本質的に学習することを示す。
ラベルと入力の相互情報を学習することで、ディープニューラルネットワーク分類器を訓練する相互情報学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-21T01:06:30Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳（メタデータ） (2021-06-09T12:02:29Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳（メタデータ） (2020-10-10T14:04:44Z) - Conditional Mutual information-based Contrastive Loss for Financial Time
Series Forecasting [12.0855096102517]
金融時系列予測のための表現学習フレームワークを提案する。
本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
論文 参考訳（メタデータ） (2020-02-18T15:24:33Z) - Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。
提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
論文 参考訳（メタデータ） (2020-02-11T21:08:06Z) - GIM: Gaussian Isolation Machines [40.7916016364212]
多くの場合、ニューラルネットワーク分類器は、トレーニング配布データの外にある入力データに露出する。
OODデータに遭遇した場合に発生する問題の解決を目的とした,新しいハイブリッド分類器を提案する。
提案されたGIMの新規性は、識別性能と生成能力にある。
論文 参考訳（メタデータ） (2020-02-06T09:51:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。