論文の概要: Neural Network Classifier as Mutual Information Evaluator

• arxiv url: http://arxiv.org/abs/2106.10471v1
• Date: Sat, 19 Jun 2021 10:55:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:52:51.716300
• Title: Neural Network Classifier as Mutual Information Evaluator
• Title（参考訳）: 相互情報評価器としてのニューラルネットワーク分類器
• Authors: Zhenyue Qin and Dongwoo Kim and Tom Gedeon
• Abstract要約: データセットのバランスが取れた場合、ニューラルネットワークをクロスエントロピーでトレーニングすることで、入力とラベル間の相互情報を最大化することを示す。 我々は,データセットが不均衡である場合に,分類器を相互情報評価器に変換するソフトマックスの新たな形式を開発する。
• 参考スコア（独自算出の注目度）: 4.615053269834783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-entropy loss with softmax output is a standard choice to train neural network classifiers. We give a new view of neural network classifiers with softmax and cross-entropy as mutual information evaluators. We show that when the dataset is balanced, training a neural network with cross-entropy maximises the mutual information between inputs and labels through a variational form of mutual information. Thereby, we develop a new form of softmax that also converts a classifier to a mutual information evaluator when the dataset is imbalanced. Experimental results show that the new form leads to better classification accuracy, in particular for imbalanced datasets.
• Abstract（参考訳）: ソフトマックス出力によるクロスエントロピー損失は、ニューラルネットワーク分類器を訓練するための標準選択である。 我々は、相互情報評価器として、ソフトマックスとクロスエントロピーを備えたニューラルネットワーク分類器の新しい視点を示す。 データセットのバランスが保たれた場合、ニューラルネットワークをクロスエントロピーでトレーニングすることで、入力とラベル間の相互情報を変動形式の相互情報によって最大化することを示す。 これにより、データセットの不均衡時に分類器を相互情報評価器に変換する新しい形態のsoftmaxを開発する。 実験の結果、新しい形式は、特に不均衡データセットにおいて、分類精度が向上することが示された。

関連論文リスト

• GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based Histogram Intersection [51.608147732998994]
  グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。 本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-01-17T13:04:23Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。 本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。 ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-03T15:09:19Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• MLDS: A Dataset for Weight-Space Analysis of Neural Networks [0.0]
  MLDSは、注意深く制御されたパラメータを持つ何千ものトレーニングニューラルネットワークからなる新しいデータセットである。 このデータセットは、モデル-to-modelとモデル-to-training-data関係に関する新たな洞察を可能にする。
  論文  参考訳（メタデータ） (2021-04-21T14:24:26Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
  この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。 我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。 残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
  論文  参考訳（メタデータ） (2020-01-07T13:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。