論文の概要: A mathematical theory for understanding when abstract representations emerge in neural networks

• arxiv url: http://arxiv.org/abs/2510.09816v1
• Date: Fri, 10 Oct 2025 19:30:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.636
• Title: A mathematical theory for understanding when abstract representations emerge in neural networks
• Title（参考訳）: 抽象表現がニューラルネットワークに現れるときの理解のための数学的理論
• Authors: Bin Wang, W. Jeffrey Johnston, Stefano Fusi,
• Abstract要約: フィードフォワード非線形ネットワークの最後に隠された層に潜伏変数の抽象表現が現れることが保証されていることを示す。 これらの表現は、所望の出力の構造や入力刺激の意味を反映している。
• 参考スコア（独自算出の注目度）: 4.415536082342714
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent experiments reveal that task-relevant variables are often encoded in approximately orthogonal subspaces of the neural activity space. These disentangled low-dimensional representations are observed in multiple brain areas and across different species, and are typically the result of a process of abstraction that supports simple forms of out-of-distribution generalization. The mechanisms by which such geometries emerge remain poorly understood, and the mechanisms that have been investigated are typically unsupervised (e.g., based on variational auto-encoders). Here, we show mathematically that abstract representations of latent variables are guaranteed to appear in the last hidden layer of feedforward nonlinear networks when they are trained on tasks that depend directly on these latent variables. These abstract representations reflect the structure of the desired outputs or the semantics of the input stimuli. To investigate the neural representations that emerge in these networks, we develop an analytical framework that maps the optimization over the network weights into a mean-field problem over the distribution of neural preactivations. Applying this framework to a finite-width ReLU network, we find that its hidden layer exhibits an abstract representation at all global minima of the task objective. We further extend these analyses to two broad families of activation functions and deep feedforward architectures, demonstrating that abstract representations naturally arise in all these scenarios. Together, these results provide an explanation for the widely observed abstract representations in both the brain and artificial neural networks, as well as a mathematically tractable toolkit for understanding the emergence of different kinds of representations in task-optimized, feature-learning network models.
• Abstract（参考訳）: 近年の研究では、タスク関連変数が神経活動空間のほぼ直交部分空間に符号化されていることが示されている。 これらの非交叉低次元の表現は、複数の脳領域や異なる種で観察され、通常、単純なアウト・オブ・ディストリビューションの一般化の形式をサポートする抽象過程の結果である。 このような測地が現れるメカニズムはいまだよく理解されておらず、調査されたメカニズムは一般に教師なし(例えば、変分オートエンコーダに基づく)である。 ここでは、潜伏変数の抽象表現が、これらの潜伏変数に直接依存するタスクでトレーニングされた際に、フィードフォワード非線形ネットワークの最後の隠れた層に現れることを数学的に示す。 これらの抽象表現は、所望の出力の構造や入力刺激の意味を反映している。 これらのネットワークに現れるニューラル表現を調べるために,ニューラルネットワークの重みに対する最適化を,ニューラルプレアクティベーションの分布に関する平均場問題にマッピングする分析フレームワークを開発した。 このフレームワークを有限幅ReLUネットワークに適用すると、その隠蔽層がタスク目的のすべての大域的ミニマに抽象表現を示すことが分かる。 さらに、これらの分析を2種類の活性化関数とディープフィードフォワードアーキテクチャに拡張し、これらすべてのシナリオにおいて抽象表現が自然に発生することを示す。 これらの結果は、脳と人工ニューラルネットワークの双方で広く観察されている抽象表現を説明するとともに、タスク最適化された特徴学習ネットワークモデルにおける様々な種類の表現の出現を理解する数学的に抽出可能なツールキットを提供する。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Local vs distributed representations: What is the right basis for interpretability? [19.50614357801837]
  スパース分布表現から得られる特徴は、人間の観察者による解釈が容易であることを示す。 この結果から,分散表現が解釈可能性の優れた基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-06T15:34:57Z)
• Identifying Sub-networks in Neural Networks via Functionally Similar Representations [41.028797971427124]
  我々は、異なるサブネットワークの存在を調査し、ネットワークの理解を自動化するための一歩を踏み出した。 具体的には、ニューラルネットワーク内の機能的に類似した表現の概念に基づく、新しい自動化されたタスク非依存のアプローチについて検討する。 提案手法は,人間と計算コストを最小限に抑えたニューラルネットワークの動作に関する有意義な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-21T20:19:00Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Neural Causal Abstractions [63.21695740637627]
  我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。 本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。 本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
  論文  参考訳（メタデータ） (2024-01-05T02:00:27Z)
• The semantic landscape paradigm for neural networks [0.0]
  本稿では,ニューラルネットワークのトレーニング力学を記述する概念的および数学的枠組みであるセマンティックランドスケープパラダイムを紹介する。 具体的には,グルーキングとスケールの出現はパーコレーション現象と関連し,ニューラルネットワークのスケーリング法則はグラフ上のランダムウォークの統計から説明できることを示す。
  論文  参考訳（メタデータ） (2023-07-18T18:48:54Z)
• Generalized Shape Metrics on Neural Representations [26.78835065137714]
  表現上の相似性を定量化する計量空間の族を提供する。 我々は、正準相関解析に基づいて既存の表現類似度尺度を修正し、三角形の不等式を満たす。 解剖学的特徴とモデル性能の観点から解釈可能な神経表現の関係を同定する。
  論文  参考訳（メタデータ） (2021-10-27T19:48:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。