論文の概要: Informational Frustration in Neural Manifolds: Shannon Bottlenecks and the Limits of Learnability

• arxiv url: http://arxiv.org/abs/2606.30512v1
• Date: Mon, 29 Jun 2026 16:20:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.32796
• Title: Informational Frustration in Neural Manifolds: Shannon Bottlenecks and the Limits of Learnability
• Title（参考訳）: ニューラルマニフォールドにおける情報フラストレーション--シャノンボトルネックと学習限界-
• Abstract要約: 本稿では,情報理論,トポロジ,統計力学を結合して深層学習の限界をマップする統合フレームワークを提案する。 データ多様体のシャノンエントロピーが関数の決定境界のトポロジ的エントロピーを上回っている場合、ネットワークが真に対象関数を学習できるという法則である。 グローキング」という謎的な現象は、実際にはエントロピーリリース(Entropic Release)であり、ボトルネックを解き放つために、ウェイトが突然再編成されることが示されています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Why overparameterised deep networks generalise so remarkably well remains one of the most stubborn open questions in machine learning theory. Classical frameworks like VC dimension and Rademacher complexity predict catastrophic overfitting in modern models, leaving a massive theoretical gap between theory and reality. In this paper, we bridge this divide by introducing a unified framework that links information theory, topology, and statistical mechanics to map the hard limits of deep learning. Central to our approach is the Entropic Learnability Horizon (ELH): a fundamental law stating that a network can only truly learn a target function if the Shannon entropy of the data manifold outpaces the topological entropy of the function's decision boundary, balanced by the von Neumann entropy of the network's weight space. We establish the Shannon-Topological Bottleneck Theorem, proving that when a target boundary's geometric complexity exceeds this informational horizon, the system undergoes a sudden entropic phase transition. It falls into a state of Informational Frustration - a glassy, rigid memorization phase where generalization becomes thermodynamically impossible. Using this lens, we show that the enigmatic phenomenon of "grokking" is actually an Entropic Release, where weights abruptly reorganise to unlock the bottleneck. Finally, we translate this theory into practice with Entropic Gradient Descent (EGD), an optimization algorithm that dynamically manages weight entropy to keep learning on track. Ultimately, this work repositions entropy not just as a tool for tracking uncertainty but as the fundamental physical currency that dictates whether a machine can learn.
• Abstract（参考訳）: なぜ過度にパラメータ化されたディープネットワークがこれほど広く一般化されるのかは、機械学習理論における最も頑固なオープンな疑問の1つとして残されている。 VC次元やRademacher複雑性のような古典的なフレームワークは、現代のモデルにおいて破滅的なオーバーフィットを予測し、理論と現実の間に大きな理論的ギャップを残している。 本稿では,情報理論,トポロジ,統計力学を結びつけ,深層学習の限界をマッピングする統一的な枠組みを導入することにより,この分割を橋渡しする。 データ多様体のシャノンエントロピーが、ネットワークの重み空間のフォン・ノイマンエントロピーによって均衡された関数の決定境界のトポロジ的エントロピーを上回る場合のみ、対象関数を真に学習できるという基本法則である。 我々はシャノン・トポロジカル・ボトルネック理論を確立し、対象境界の幾何学的複雑さがこの情報水平線を超えると、システムは突然のエントロピー相転移を起こすことを証明した。 情報フラストレーション(Informational Frustration) - 一般化が熱力学的に不可能になるガラス状の硬い記憶相。 このレンズを用いて、"グロッキング"の謎的な現象は実際にはエントロピーリリースであり、そこでは重みが突然再編成されてボトルネックを解き放つ。 最後に,この理論を,重みエントロピーを動的に管理し,トラック上で学習を続ける最適化アルゴリズムであるEntropic Gradient Descent (EGD) を用いて実演的に翻訳する。 結局のところ、この研究はエントロピーを不確実性を追跡するツールとしてだけでなく、機械が学習できるかどうかを規定する基本的な物理通貨として位置づけている。

関連論文リスト

• Understanding Deep Learning via Entropy Space Theory [14.12103715873018]
  エントロピー空間は、トポロジカル構造によってどんな深層学習モデルのあらゆる可能性をカバーすることができる。 この理論は、深層学習の数学的基礎のための新しい先駆的枠組みを提供する。
  論文  参考訳（メタデータ） (2026-08-29T14:05:57Z)
• Human-Centered Learning Mechanics: A Dynamical Framework for Entropy-Regulated Representation Learning [1.1675763847424785]
  オープンかつ制御された学習システムのための動的・情報理論の枠組みを提案する。 中心となる考え方は、選択されたエントロピーサロゲートが非退化情報力を生成する場合にのみ、エントロピー正則化が有用であるということである。 制御された表現学習実験は、幾何エントロピーがソフトマックス正規化エントロピーよりも強くより安定した情報力をもたらすという仮説を支持する。
  論文  参考訳（メタデータ） (2026-05-21T18:16:39Z)
• Information as Maximum-Caliber Deviation: A bridge between Integrated Information Theory and the Free Energy Principle [51.56484100374058]
  この研究は、情報が有限時間地平線上の制約付き最大曲率(MaxCal)パスアンサンブルから実現された力学の偏差$$$として定義されることを示唆している。 この定義の下では、IIT 3.0の中心となる原因/影響レパートリーは、MaxCalの変分原理から直接現れる。 情報$$は、付随する予測符号化モデルの下での予測誤差と同値である。
  論文  参考訳（メタデータ） (2026-05-03T07:22:55Z)
• Brain-inspired AI for Edge Intelligence: a systematic review [40.25885510107807]
  スパイキングニューラルネットワーク(SNN)は、エッジインテリジェンスの厳しいサイズ、重量、パワー(SWaP)の制約を回避することを約束する。 現在、理論エネルギーのゲインは、伝統的なフォン・ノイマン基板に非同期で事象駆動のダイナミクスをマッピングする非効率性によってしばしば否定される。 この調査では、厳密なシステムレベルのハードウェア-ソフトウェア共同設計の視点を採用し、2020-2025年の軌道を検証した。
  論文  参考訳（メタデータ） (2026-03-19T08:13:49Z)
• Information Physics of Intelligence: Unifying Logical Depth and Entropy under Thermodynamic Constraints [7.411478588468014]
  本稿では,情報処理を存在論的状態からキャリア状態へのマッピングを可能にする理論的枠組みを提案する。 与えられた論理深度から対象状態を計算するのに必要な有効な作業量を定量化する,新しい計量である導出エントロピーを導入する。 このことから, 導出エントロピーの最小化は, 生物と人工知能の双方の進化に支配的な原則であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-24T14:24:08Z)
• Transformers Provably Learn Chain-of-Thought Reasoning with Length Generalization [53.89723291716722]
  AI推論に関する重要な問題は、モデルが学習した推論パターンを外挿して、より長いチェーン・オブ・シークレット(CoT)で難しいタスクを解決できるかどうかである。 状態追跡問題の代数構造が、学習されたCoTの外挿の度合いをいかに支配するかを数学的に証明する。 定数深度変換器はCoTで$mathsfNC1$-complete問題を確実に学習することを保証する。
  論文  参考訳（メタデータ） (2025-11-10T18:40:24Z)
• Barriers for Learning in an Evolving World: Mathematical Understanding of Loss of Plasticity [41.584807567389625]
  可塑性の喪失(LoP)は、ディープラーニングモデルの将来的な学習能力の低下である。 本研究は,勾配に基づく学習におけるLoPの第一原理的研究である。
  論文  参考訳（メタデータ） (2025-09-30T21:49:50Z)
• Over-squashing in Spatiotemporal Graph Neural Networks [43.811698922164055]
  グラフニューラルネットワーク(GNN)は、さまざまな領域で大きな成功を収めています。 近年の理論的進歩は、遠方のノードが情報を効果的に交換できないオーバー・スカッシングのような情報伝達の基本的な限界を明らかにしている。 本研究は, オーバー・スカッシング問題を定式化し, その特徴を静的ケースと比較した。 解析の結果,畳み込みSTGNNは時間的接近よりも時間的に離れた地点からの情報伝達を好んでいることが明らかとなった。
  論文  参考訳（メタデータ） (2025-06-18T14:45:06Z)
• Binarized Neural Networks Converge Toward Algorithmic Simplicity: Empirical Support for the Learning-as-Compression Hypothesis [33.73453802399709]
  本稿では,二元化ニューラルネットワーク(BNN)を第1のプロキシとして用いて,アルゴリズム情報理論へのシフトを提案する。 ブロック分解法 (BDM) を適用し, エントロピーよりもトレーニング中の構造変化をより綿密に追跡した。 これらの結果は、学習が構造化正規性の進行的内部化に対応するアルゴリズム圧縮の過程としてのトレーニングの観点を支持する。
  論文  参考訳（メタデータ） (2025-05-27T02:51:36Z)
• Is Grokking a Computational Glass Relaxation? [11.327748614675885]
  トレーニング性能がほぼ完璧に到達した後,ニューラルネットワークが突然一般化するグラッキング現象について検討する。 グラッキングの記憶-一般化遷移におけるNOエントロピー障壁は、グラキングを一階相転移と定義する以前の理論に挑戦する。 グラッキングの非平衡な性質に触発され、ワンランダウ分子動力学に基づくおもちゃのWanDを開発し、グラッキングを制約なく排除し、高ノルム一般化解を求めることができる。
  論文  参考訳（メタデータ） (2025-05-16T16:20:02Z)
• The Expressivity of Classical and Quantum Neural Networks on Entanglement Entropy [0.3299672391663526]
  R'enyi エントロピーのフォン・ノイマンエントロピー(Von Neumann entropy)は、場の量子論において難しい問題である。 教師付き学習を用いた古典的および量子的ニューラルネットワークを用いて,この問題に対処するための一般的な枠組みを提案する。 提案手法はフォン・ノイマンとレーニのエントロピーを数値的に正確に予測できる。
  論文  参考訳（メタデータ） (2023-05-01T18:00:01Z)
• Physics informed neural networks for continuum micromechanics [68.8204255655161]
  近年,応用数学や工学における多種多様な問題に対して,物理情報ニューラルネットワークの適用が成功している。 グローバルな近似のため、物理情報ニューラルネットワークは、最適化によって局所的な効果と強い非線形解を表示するのに困難である。 実世界の$mu$CT-Scansから得られた不均一構造における非線形応力, 変位, エネルギー場を, 正確に解くことができる。
  論文  参考訳（メタデータ） (2021-10-14T14:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。