論文の概要: Emergent Generalization by Representation Learning in Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2607.10430v1
- Date: Sat, 11 Jul 2026 18:25:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.429122
- Title: Emergent Generalization by Representation Learning in Artificial Neural Networks
- Title（参考訳）: ニューラルネットワークにおける表現学習による創発的一般化
- Abstract要約: 一般化には,再帰的ニューラルネットワークに低次元表現を学習させる明示的な情報ボトルネックが不可欠であることを示す。
因果発生に関する情報理論的尺度を用いて,この表現の力学を記憶から一般化への遷移を通して特徴づける。
この軌道はタスクの複雑さとともにスケールし、創発的構造の大きさは一般化性能を確実に予測する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dimensionality reduction has proven powerful for identifying neural manifolds, which are low-dimensional structures underlying high-dimensional neural activity. These low-dimensional representations have improved the interpretability of population-level coding. Yet whether such low-dimensional representations are biologically relevant and confer functional advantages in learning systems, or merely reflect neuron-level activity, remains contested in neuroscience. We show that an explicit information bottleneck forcing a recurrent neural network to learn a low-dimensional representation is necessary for rotational and out-of-distribution generalisation in a time-series prediction task. Using information-theoretic measures of causal emergence, we characterise the dynamics of this representation across the memorisation-to-generalisation transition, finding a non-monotonic trajectory which shows an initial decrease, a minimum, and a subsequent rise to a maximum, even as prediction loss falls monotonically. This trajectory scales with task complexity, and the magnitude of emergent structure reliably predicts generalisation performance. Analysis of CA1 hippocampal activity in mice learning an alternating maze task reveals analogous non-monotonic emergence dynamics that track behavioural performance. Together, these findings indicate that the ability of neural networks to learn compact, distributed and emergent representations confers a functional advantage for generalisation, supporting a causal role for learned representations in cognition.
- Abstract（参考訳）: 次元の減少は、高次元の神経活動の基盤となる低次元構造である神経多様体の同定に強力であることが証明されている。
これらの低次元表現は、集団レベルの符号化の解釈可能性を改善した。
しかし、そのような低次元表現が生物学的に関連があり、学習システムにおいて機能的優位性を与えるか、単にニューロンレベルの活動を反映するだけなのかは、神経科学において議論されている。
時系列予測タスクにおいて、低次元の表現を学習させる明示的な情報ボトルネックが回転および分布外一般化に必要であることを示す。
因果発生に関する情報理論的尺度を用いて,この表現のダイナミクスを記憶から一般への遷移を通じて特徴付け,予測損失が単調に下がったとしても,初期減少,最小値,そしてその後の最大値上昇を示す非単調軌道を求める。
この軌道はタスクの複雑さとともにスケールし、創発的構造の大きさは一般化性能を確実に予測する。
交互迷路課題を学習したマウスにおけるCA1海馬活動の解析は、行動パフォーマンスを追跡する類似の非単調な出現動態を明らかにする。
これらの結果は、ニューラルネットワークがコンパクトで分散的かつ創発的な表現を学習する能力は、一般化のための機能的優位性を示し、認知における学習的表現の因果的役割を支持することを示唆している。
関連論文リスト
- Graph neural networks uncover structure and functions underlying the activity of simulated neural assemblies [0.0]
観測可能な力学を予測するために訓練されたグラフニューラルネットワークは、複素異種系の時間的活動を単純で解釈可能な表現に分解するために用いられる。
この枠組みを、何千ものニューロンによる神経集合のシミュレーションに適用し、接続マトリックス、ニューロンタイプ、シグナル機能、場合によっては隠れた外部刺激を共同で明らかにできることを実証する。
論文 参考訳（メタデータ） (2026-02-11T01:59:27Z) - Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。
本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。
NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
論文 参考訳（メタデータ） (2025-10-19T14:23:35Z) - Sparse Autoencoder Neural Operators: Model Recovery in Function Spaces [75.45093712182624]
本研究では,スパースオートエンコーダ(SAE)を昇降空間や無限次元関数空間に拡張し,大規模ニューラル演算子(NO)の機械的解釈性を実現するフレームワークを提案する。
我々は、SAE、リフト-SAE、SAEニューラル演算子の推論とトレーニングのダイナミクスを比較した。
我々は、リフトと演算子モジュールが有益な帰納バイアスを導入し、より高速なリカバリを可能にし、スムーズな概念のリカバリを改善し、様々な解像度にわたる堅牢な推論を可能にした点を強調した。
論文 参考訳（メタデータ） (2025-09-03T21:57:03Z) - Understanding Artificial Neural Network's Behavior from Neuron Activation Perspective [8.251799609350725]
本稿では,ニューロン活性化ダイナミクスのレンズによるディープニューラルネットワーク(DNN)の複雑な動作について検討する。
本稿では,モデルのニューロン活性化パターンをプロセスとして解析する確率的フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-24T01:01:06Z) - Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
神経科学とAIの両方では、ニューロン間の'バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する、競争的な学習の形式につながることが知られている。
完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。
このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、定量化、推論など、幅広いタスクにわたるパフォーマンス改善を提供する。
論文 参考訳（メタデータ） (2024-10-17T17:47:54Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - Object-based attention for spatio-temporal reasoning: Outperforming
neuro-symbolic models with flexible distributed architectures [15.946511512356878]
適切な帰納的バイアスを持つ完全学習型ニューラルネットワークは,従来のニューラルシンボリックモデルよりもかなり優れた性能を示す。
我々のモデルは、自己意識と学習された「ソフト」オブジェクト中心表現の両方を批判的に利用します。
論文 参考訳（メタデータ） (2020-12-15T18:57:40Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Generalizable Machine Learning in Neuroscience using Graph Neural
Networks [0.0]
ニューラルネットワークは、ニューロンレベルの動的予測と行動状態の分類の両方において、非常によく機能することを示す。
実験の結果, グラフニューラルネットワークは構造モデルよりも優れ, 目に見えない生物の一般化に優れていた。
論文 参考訳（メタデータ） (2020-10-16T18:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。