論文の概要: Reasoning as Attractor Dynamics: Latent Memory Retrieval via Gibbs-Weighted Energy Minimization

• arxiv url: http://arxiv.org/abs/2606.24543v1
• Date: Tue, 23 Jun 2026 13:07:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.963669
• Title: Reasoning as Attractor Dynamics: Latent Memory Retrieval via Gibbs-Weighted Energy Minimization
• Title（参考訳）: トラクタダイナミクスとしての推論:ギブズ重エネルギー最小化による潜在記憶検索
• Authors: Kanishk Awadhiya,
• Abstract要約: 大規模言語モデル(LLM)は伝統的に自己回帰型ジェネレータと見なされている。 本研究では,数学的推論のエネルギー景観について検討する。 軌道のスペクトルエントロピーのギブス測度に基づく検索機構を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) are traditionally viewed as autoregressive generators. However, from the perspective of collective computation, they function as high-dimensional Dense Associative Memories that store complex reasoning patterns as latent attractors. In this work, we investigate the energy landscape of mathematical reasoning. We posit that correct reasoning chains correspond to deep, wide attractor basins ("flat minima") in the model's output distribution, whereas hallucinations manifest as sharp, unstable local minima. To exploit this geometry, we introduce a retrieval mechanism based on a Gibbs measure of the trajectory's spectral entropy. By sampling multiple reasoning paths and weighting them by their inverse energy ($P \propto e^{-βE}$), we approximate the equilibrium distribution of the associative memory, effectively ``relaxing'' the system into a robust solution. Empirically, this physics-inspired mechanism improves Microsoft Phi-3.5 performance on GSM8K by 5.38\% (84.7\% $\to$ 90.1\%), demonstrating that inference is better modeled as a dynamic settling process into an attractor basin rather than greedy next-token prediction.
• Abstract（参考訳）: 大規模言語モデル(LLM)は伝統的に自己回帰型ジェネレータと見なされている。 しかし、集合計算の観点からは、複雑な推論パターンを潜在引力として格納する高次元Dense Associative Memoriesとして機能する。 本研究では,数学的推論のエネルギー景観について検討する。 正しい推論連鎖は、モデル出力分布における深い、広い誘引盆地(平らなミニマ)に対応すると仮定する一方、幻覚は鋭く不安定な局所的ミニマとして表される。 この形状を利用するために、軌道のスペクトルエントロピーのギブス測度に基づく検索機構を導入する。 複数の推論経路をサンプリングし、それらの逆エネルギー(P \propto e^{-βE}$)で重み付けすることで、連想記憶の平衡分布を近似し、系をロバストな解にする。 物理学にインスパイアされたこのメカニズムは、GSM8K上のMicrosoft Phi-3.5のパフォーマンスを5.38\%(84.7\% $\to$90.1\%)改善し、推論が強欲に満ちた次の予測ではなく、アトラクタ盆地への動的沈降過程としてモデル化されていることを実証している。

関連論文リスト

• Non-equilibrium thermodynamics of collapse models in the strongly non-Gaussian regime [0.0]
  散逸型 Disi-Penrose (dDP) モデルが複雑な非ガウス位相空間力学を誘導することを示す。 我々は、この摩擦機構の弱い状態と強い非ガウス状態の両方における熱力学的一貫性を厳格に確立する。 解析の結果,dDPの機構に従属する系は熱分解せず,非平衡定常状態に落ち着くことが明らかとなった。
  論文  参考訳（メタデータ） (2026-06-04T15:04:07Z)
• Sinkhorn Based Associative Memory Retrieval Using Spherical Hellinger Kantorovich Dynamics [3.251449696624754]
  経験的尺度のための高密度な連想記憶を提案する。 保存されたパターンとクエリは、有限に支持される確率測度である。 球形ヘルリンガー・カントロビッチ勾配流として検索力学を導出する。
  論文  参考訳（メタデータ） (2026-03-21T05:25:15Z)
• Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics [0.0]
  シャノン-ボルツマンエントロピーの枠組みの中では、ソフトマックス関数はヘルムホルツ自由エネルギー関数を最小化する定常解として現れる。 このマッピングをマクロな観測対象に拡張し、注意エネルギー景観のゆらぎに関連する有効な比熱を定義する。 我々のフレームワークは、注意スケーリング、トレーニングダイナミクス、位置エンコーディングに関する統一的な統計的・機械的な視点を提供する。
  論文  参考訳（メタデータ） (2026-02-09T02:42:36Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• Digital Metabolism: Decoupling Logic from Facts via Regenerative Unlearning -- Towards a Pure Neural Logic Core [4.073707521515039]
  デジタル代謝(Digital metabolism)とは、純粋な論理コアを蒸留するためには、標的となる忘れることが必要であるという仮説である。 本稿では,Regenerative Logic-Core Protocol (RLCP)を紹介した。 GSM8Kの実証分析により、「代謝」モデルが自然にシンボリック・チェーン・オブ・シンクの足場を採用することが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-15T19:21:16Z)
• Bayesian Circular Regression with von Mises Quasi-Processes [57.88921637944379]
  本研究では、円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 後部推論のために,高速ギブズサンプリングに寄与するストラトノビッチ様拡張法を導入する。 本研究では,このモデルを用いて風向予測と走行歩行周期のパーセンテージを関節角度の関数として適用する実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
  ResNets と Fully-Connected Nets を相互接続する Leaky ResNets について「有効深度」に依存して検討する。 この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
  論文  参考訳（メタデータ） (2024-05-27T18:15:05Z)
• Modeling the space-time correlation of pulsed twin beams [68.8204255655161]
  パラメトリックダウンコンバージョンによって生成される絡み合ったツインビームは、画像指向アプリケーションで好まれるソースである。 本研究では,時間消費数値シミュレーションと非現実的な平面波ポンプ理論のギャップを埋めることを目的とした半解析モデルを提案する。
  論文  参考訳（メタデータ） (2023-01-18T11:29:49Z)
• Out-of-time-order correlations and the fine structure of eigenstate thermalisation [58.720142291102135]
  量子情報力学と熱化を特徴付けるツールとして、OTOC(Out-of-time-orderor)が確立されている。 我々は、OTOCが、ETH(Eigenstate Thermalisation hypothesis)の詳細な詳細を調査するための、本当に正確なツールであることを明確に示している。 無限温度状態における局所作用素の和からなる可観測物の一般クラスに対して、$omega_textrmGOE$の有限サイズスケーリングを推定する。
  論文  参考訳（メタデータ） (2021-03-01T17:51:46Z)
• Probing eigenstate thermalization in quantum simulators via fluctuation-dissipation relations [77.34726150561087]
  固有状態熱化仮説(ETH)は、閉量子多体系の平衡へのアプローチの普遍的なメカニズムを提供する。 本稿では, ゆらぎ・散逸関係の出現を観測し, 量子シミュレータのフルETHを探索する理論に依存しない経路を提案する。 我々の研究は、量子シミュレータにおける熱化を特徴づける理論に依存しない方法を示し、凝縮物質ポンプ-プローブ実験をシミュレーションする方法を舗装する。
  論文  参考訳（メタデータ） (2020-07-20T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。