論文の概要: Category learning in deep neural networks: Information content and geometry of internal representations

• arxiv url: http://arxiv.org/abs/2510.19021v1
• Date: Tue, 21 Oct 2025 19:02:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.52483
• Title: Category learning in deep neural networks: Information content and geometry of internal representations
• Title（参考訳）: ディープニューラルネットワークにおけるカテゴリー学習:内部表現の情報内容と幾何学
• Authors: Laurent Bonnasse-Gahot, Jean-Pierre Nadal,
• Abstract要約: 動物では、カテゴリー学習はカテゴリ境界に近い刺激の識別を促進する。 この現象は分類知覚と呼ばれ、分類タスクで訓練された人工ニューラルネットワークでも経験的に観察された。 ベイズコストの最小化(クロスエントロピー損失)は,カテゴリの集合と,決定層に先行する神経活動の相互情報の最大化を意味することを示す。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In animals, category learning enhances discrimination between stimuli close to the category boundary. This phenomenon, called categorical perception, was also empirically observed in artificial neural networks trained on classification tasks. In previous modeling works based on neuroscience data, we show that this expansion/compression is a necessary outcome of efficient learning. Here we extend our theoretical framework to artificial networks. We show that minimizing the Bayes cost (mean of the cross-entropy loss) implies maximizing the mutual information between the set of categories and the neural activities prior to the decision layer. Considering structured data with an underlying feature space of small dimension, we show that maximizing the mutual information implies (i) finding an appropriate projection space, and, (ii) building a neural representation with the appropriate metric. The latter is based on a Fisher information matrix measuring the sensitivity of the neural activity to changes in the projection space. Optimal learning makes this neural Fisher information follow a category-specific Fisher information, measuring the sensitivity of the category membership. Category learning thus induces an expansion of neural space near decision boundaries. We characterize the properties of the categorical Fisher information, showing that its eigenvectors give the most discriminant directions at each point of the projection space. We find that, unexpectedly, its maxima are in general not exactly at, but near, the class boundaries. Considering toy models and the MNIST dataset, we numerically illustrate how after learning the two Fisher information matrices match, and essentially align with the category boundaries. Finally, we relate our approach to the Information Bottleneck one, and we exhibit a bias-variance decomposition of the Bayes cost, of interest on its own.
• Abstract（参考訳）: 動物では、カテゴリー学習はカテゴリ境界に近い刺激の識別を促進する。 この現象は分類知覚と呼ばれ、分類タスクで訓練された人工ニューラルネットワークでも経験的に観察された。 これまでの神経科学データに基づくモデリングでは、この拡張/圧縮が効率的な学習に必要な結果であることが示されている。 ここでは、理論的枠組みを人工ネットワークに拡張する。 ベイズコストの最小化(クロスエントロピー損失)は,カテゴリの集合と,決定層に先行する神経活動の相互情報の最大化を意味することを示す。 小次元の特徴空間を持つ構造化データを考えると、相互情報の最大化は意味があることが分かる。 一 適切な射影空間を見つけること、及び (ii)適切な計量を用いて神経表現を構築すること。 後者は、射影空間の変化に対する神経活動の感度を測定するフィッシャー情報行列に基づいている。 最適な学習により、このニューラルフィッシャー情報はカテゴリ固有のフィッシャー情報に従い、カテゴリメンバーシップの感度を測定する。 カテゴリー学習は、決定境界付近の神経空間の拡大を誘導する。 分類的フィッシャー情報の特徴を特徴付け、その固有ベクトルが射影空間の各点において最も識別可能な方向を与えることを示す。 意外なことに、その極大性は一般に、正確には、しかし、クラス境界に近いものではない。 玩具モデルとMNISTデータセットを考慮すると、2つのフィッシャー情報行列がどのように一致しているかを数値的に説明し、本質的にカテゴリ境界と整合する。 最後に、我々のアプローチをインフォメーション・ボトルネック(Information Bottleneck)に関連付け、ベイズコストのバイアス分散分解を示す。

関連論文リスト

• Trade-Offs of Diagonal Fisher Information Matrix Estimators [53.35448232352667]
  Fisher情報行列は、ニューラルネットワークのパラメータ空間の局所幾何学を特徴付けるのに使うことができる。 精度とサンプルの複雑さが関連する分散に依存する2つの人気推定器について検討する。 分散のバウンダリを導出し、回帰と分類のためにニューラルネットワークでそれらをインスタンス化する。
  論文  参考訳（メタデータ） (2024-02-08T03:29:10Z)
• Information theoretic study of the neural geometry induced by category learning [0.0]
  我々は、カテゴリ学習によって引き起こされる表現の効率を評価するために、情報理論的アプローチをとる。 1つの主な結果は、カテゴリー学習が決定境界付近の神経空間の拡大を誘導することである。
  論文  参考訳（メタデータ） (2023-11-27T10:16:22Z)
• Invariant Representations with Stochastically Quantized Neural Networks [5.7923858184309385]
  本稿では,ニューラル層とセンシティブ属性間の相互情報の直接計算手法を提案する。 本手法は,公正表現学習における技術状況と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2022-08-04T13:36:06Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Category-orthogonal object features guide information processing in recurrent neural networks trained for object categorization [0.12891210250935145]
  ビジュアルオブジェクト分類タスクにおいて、リカレントニューラルネットワーク(RNN)はフィードフォワードアーキテクチャよりも優れていることが示されている。 我々は、反復がカテゴリー-直交補助変数の通信を通してオブジェクトの分類を反復的に支援する仮説を検証した。
  論文  参考訳（メタデータ） (2021-11-15T16:52:07Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Malicious Network Traffic Detection via Deep Learning: An Information Theoretic View [0.0]
  本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。 この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
  論文  参考訳（メタデータ） (2020-09-16T15:37:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。