論文の概要: Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems
- arxiv url: http://arxiv.org/abs/2209.10058v1
- Date: Wed, 21 Sep 2022 01:06:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 15:13:44.219163
- Title: Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems
- Title（参考訳）: 相互学習型分類器:深層学習分類システムの学習における情報理論的視点
- Authors: Jirong Yi, Qiaosheng Zhang, Zhen Chen, Qiao Liu, Wei Shao
- Abstract要約: 既存のクロスエントロピー損失最小化問題は,基礎となるデータ分布のラベル条件エントロピーを本質的に学習することを示す。
ラベルと入力の相互情報を学習することで、ディープニューラルネットワーク分類器を訓練する相互情報学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 9.660129425150926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning systems have been reported to achieve state-of-the-art
performances in many applications, and a key is the existence of well trained
classifiers on benchmark datasets. As a main-stream loss function, the cross
entropy can easily lead us to find models which demonstrate severe overfitting
behavior. In this paper, we show that the existing cross entropy loss
minimization problem essentially learns the label conditional entropy (CE) of
the underlying data distribution of the dataset. However, the CE learned in
this way does not characterize well the information shared by the label and the
input. In this paper, we propose a mutual information learning framework where
we train deep neural network classifiers via learning the mutual information
between the label and the input. Theoretically, we give the population
classification error lower bound in terms of the mutual information. In
addition, we derive the mutual information lower and upper bounds for a
concrete binary classification data model in $\mathbb{R}^n$, and also the error
probability lower bound in this scenario. Empirically, we conduct extensive
experiments on several benchmark datasets to support our theory. The mutual
information learned classifiers (MILCs) achieve far better generalization
performances than the conditional entropy learned classifiers (CELCs) with an
improvement which can exceed more than 10\% in testing accuracy.
- Abstract（参考訳）: ディープラーニングシステムは、多くのアプリケーションで最先端のパフォーマンスを達成することが報告されており、その鍵は、ベンチマークデータセットによく訓練された分類器が存在することである。
主ストリーム損失関数として、クロスエントロピーは、厳しい過剰フィット行動を示すモデルを簡単に見つけ出すことができる。
本稿では,既存のクロスエントロピー損失最小化問題は,データセットの基盤となるデータ分布のラベル条件エントロピー(CE)を本質的に学習することを示す。
しかし、この方法で学んだceは、ラベルと入力によって共有される情報をうまく特徴付けしていない。
本稿では,ラベルと入力の相互情報を学習することで,ディープニューラルネットワーク分類器を訓練する相互情報学習フレームワークを提案する。
理論的には、相互情報の観点から、人口分類誤差を低くする。
さらに, 具体的なバイナリ分類データモデルに対して, $\mathbb{R}^n$ の相互情報下限と上限を導出し, また, このシナリオでは誤差確率下限も導出する。
経験的に、我々は理論をサポートするためにいくつかのベンチマークデータセットで広範囲な実験を行う。
相互情報学習型分類器(milcs)は、条件エントロピー学習型分類器(celcs)よりもはるかに優れた一般化性能を達成し、テスト精度が10\%以上向上する。
関連論文リスト
- Learning A Disentangling Representation For PU Learning [18.94726971543125]
本稿では、ラベルのないデータを2つのクラスタに投影するロス関数を用いて、ニューラルネットワークに基づくデータ表現を学習することを提案する。
提案手法の性能向上を実証する PU データのシミュレーション実験を行った。
論文 参考訳（メタデータ） (2023-10-05T18:33:32Z) - Probabilistic Safety Regions Via Finite Families of Scalable Classifiers [2.431537995108158]
監視された分類は、データのパターンを認識して、振る舞いのクラスを分離する。
正準解は、機械学習の数値近似の性質に固有の誤分類誤差を含む。
本稿では,確率論的安全性領域の概念を導入し,入力空間のサブセットとして,誤分類されたインスタンスの数を確率論的に制御する手法を提案する。
論文 参考訳（メタデータ） (2023-09-08T22:40:19Z) - Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。
本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。
ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-03T15:09:19Z) - A Survey of Learning on Small Data: Generalization, Optimization, and
Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。
この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。
効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳（メタデータ） (2022-07-29T02:34:19Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳（メタデータ） (2021-06-09T12:02:29Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳（メタデータ） (2021-04-07T10:54:51Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳（メタデータ） (2021-01-02T09:04:14Z) - Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。
提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
論文 参考訳（メタデータ） (2020-02-11T21:08:06Z) - Identifying and Compensating for Feature Deviation in Imbalanced Deep
Learning [59.65752299209042]
このようなシナリオ下でのConvNetの学習について検討する。
私たちは、ConvNetがマイナーなクラスにかなり適合していることに気づきました。
クラス依存型温度トレーニング(CDT)のConvNetの導入を提案する。
論文 参考訳（メタデータ） (2020-01-06T03:52:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。