論文の概要: On the Statistical Mechanics of Attention
- arxiv url: http://arxiv.org/abs/2610.17347v1
- Date: Mon, 12 Oct 2026 19:55:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.448072
- Title: On the Statistical Mechanics of Attention
- Title（参考訳）: 注意の統計力学について
- Abstract要約: 現代ホップフィールドモデルを用いてトランスフォーマー注意の統計力学を再検討する。
本研究では, パラメータの条件やしきい値を特徴付ける自由エネルギー形式を, 頑健な注意推定のために提案する。
- 参考スコア（独自算出の注目度）: 17.58861644698306
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We revisit the statistical mechanics of Transformer attention via modern Hopfield models. We present a free-energy formalism to characterize parameter regimes and critical thresholds for robust attention inference. The resulting free-energy landscape incorporates randomness in query states and attention weights. Attention then emerges as the equation of motion of the corresponding statistical-mechanical system (i.e., modern Hopfield model) through the standard free-energy minimization principle. This allows us to identify first-order phase transitions in attention between glassy and robust-inference phases. We further extend to attentions with stochastic queries and keys. Together, our results provide a rigorous statistical-mechanics framework for characterizing phase structure and inference reliability across a family of Transformer attention mechanisms.
- Abstract（参考訳）: 現代ホップフィールドモデルを用いてトランスフォーマー注意の統計力学を再検討する。
本研究では, パラメータの条件やしきい値を特徴付ける自由エネルギー形式を, 頑健な注意推定のために提案する。
結果として生じる自由エネルギーの景観は、クエリ状態と注意重みのランダム性を含んでいる。
注意は、標準自由エネルギー最小化原理を通じて対応する統計力学系の運動方程式として現れる。
これにより、ガラス相と頑健な推論相の間の注意点における一階相転移を特定できる。
さらに、確率的なクエリやキーで注意を向けます。
本研究では, 位相構造を特徴付けるための厳密な統計力学の枠組みと, トランスフォーマーのアテンション機構のファミリ間での推論信頼性について検討した。
関連論文リスト
- Controlled Dynamics Attractor Transformer [58.15454173718687]
トランスフォーマーアーキテクチャは自己認識機構を通じて深層モデルにおける高度な表現学習と推論を行う。
並行して、連想記憶(AM)フレームワークはエネルギーランドスケープに表現をマッピングし、解釈可能な検索メカニズムを提供する。
我々は,ミセス・フィッシャー (Mo-vMF) の注意エネルギーとホップフィールド精製エネルギーを混合した制御型ダイナミクス・アトラクタ変換器 (CCAT) を提案する。
CCATは、グラフ異常検出とグラフ分類において、複数のベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-06-13T09:04:22Z) - Navigating by Old Maps: The Pitfalls of Static Mechanistic Localization in LLM Post-Training [59.49057547517285]
教師付き微調整プロセスを通してトランスフォーマー回路の構造変化を系統的に追跡する。
実験結果から,回路はパラメータ更新時に本質的に「自由進化」を示すことが明らかとなった。
この研究は、機械的ローカライゼーションにおける「予見」の必要性を浮き彫りにし、将来の研究の枠組みを提案する。
論文 参考訳（メタデータ） (2026-05-07T11:59:52Z) - Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics [0.0]
シャノン-ボルツマンエントロピーの枠組みの中では、ソフトマックス関数はヘルムホルツ自由エネルギー関数を最小化する定常解として現れる。
このマッピングをマクロな観測対象に拡張し、注意エネルギー景観のゆらぎに関連する有効な比熱を定義する。
我々のフレームワークは、注意スケーリング、トレーニングダイナミクス、位置エンコーディングに関する統一的な統計的・機械的な視点を提供する。
論文 参考訳（メタデータ） (2026-02-09T02:42:36Z) - Data-driven particle dynamics: Structure-preserving coarse-graining for emergent behavior in non-equilibrium systems [0.8796261172196743]
短周期スケールは創発的なバルク物理学と適切に結び付けられなければならないため、マルチスケールシステムはシミュレートが難しいことが知られている。
熱力学の第一法則と第二法則の離散的な概念を保存したメチトレクティックブラケット形式を用いた枠組みを提案する。
我々はPyTorchとLAMMPSの両方でオープンソース実装を提供し、様々な粒子ベースシステムへの大規模推論と再配置を可能にする。
論文 参考訳（メタデータ） (2025-08-18T02:10:18Z) - Transformers Learn Faster with Semantic Focus [57.97235825738412]
学習性と一般化の観点からスパース変圧器について検討する。
入力依存のスパースアテンションモデルは、標準アテンションモデルよりも早く収束し、より一般化しているように見える。
論文 参考訳（メタデータ） (2025-06-17T01:19:28Z) - Criticality-amplified quantum probing of a spontaneous collapse model [0.0]
本稿では,自然崩壊モデルの自由なパラメータに対する距離論的上界の導出に対する量子探索手法を提案する。
我々は、自発的に崩壊するメカニズムによって、要素が個人的または集団的に影響を受ける拡張量子イジング連鎖を考える。
論文 参考訳（メタデータ） (2024-07-12T14:37:58Z) - Quantum Effects on the Synchronization Dynamics of the Kuramoto Model [62.997667081978825]
量子揺らぎは同期の出現を妨げるが、完全に抑制するわけではない。
モデルパラメータへの依存を強調して,臨界結合の解析式を導出する。
論文 参考訳（メタデータ） (2023-06-16T16:41:16Z) - Attention that does not Explain Away [54.42960937271612]
Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。
Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。
本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
論文 参考訳（メタデータ） (2020-09-29T21:05:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。