論文の概要: Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics

• arxiv url: http://arxiv.org/abs/2602.08216v2
• Date: Fri, 13 Feb 2026 05:45:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 15:25:03.294628
• Title: Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics
• Title（参考訳）: 変圧器の熱力学的同型性:注意ダイナミクスに対するラグランジアン的アプローチ
• Authors: Gunn Kim,
• Abstract要約: シャノン-ボルツマンエントロピーの枠組みの中では、ソフトマックス関数はヘルムホルツ自由エネルギー関数を最小化する定常解として現れる。 このマッピングをマクロな観測対象に拡張し、注意エネルギー景観のゆらぎに関連する有効な比熱を定義する。 我々のフレームワークは、注意スケーリング、トレーニングダイナミクス、位置エンコーディングに関する統一的な統計的・機械的な視点を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an effective field-theoretic framework for analyzing Transformer attention through a thermodynamic lens. By constructing a Lagrangian on the information manifold equipped with the Fisher metric, we show that, within the Shannon--Boltzmann entropy framework, the Softmax function arises as a stationary solution minimizing a Helmholtz free energy functional. This establishes a formal correspondence between scaled dot-product attention and canonical ensemble statistics. Extending this mapping to macroscopic observables, we define an effective specific heat associated with fluctuations of the attention energy landscape. In controlled experiments on the modular addition task ($p = 19$--$113$), we observe a robust peak in this fluctuation measure that consistently precedes the onset of generalization. While no asymptotic power-law divergence is detected in this finite-depth regime, the reproducible enhancement of energy variance suggests a critical-like crossover accompanying representational reorganization. Our framework provides a unified statistical-mechanical perspective on attention scaling, training dynamics, and positional encoding, interpreting the phenomena as emergent properties of an effective thermodynamic system rather than isolated heuristics. Although the present results indicate finite-size crossover behavior rather than a strict phase transition, they motivate further investigation into scaling limits of deep architectures through fluctuation-based observables.
• Abstract（参考訳）: 熱力学的レンズを用いてトランスフォーマーの注意を解析するための有効場理論フレームワークを提案する。 フィッシャー計量を備えた情報多様体上にラグランジアンを構成することにより、シャノン-ボルツマンエントロピーの枠組みの中で、ソフトマックス函数はヘルムホルツ自由エネルギー汎函数を最小化する定常解として現れることを示す。 これにより、スケールしたドット積の注意と標準アンサンブル統計の間の公式な対応が確立される。 このマッピングをマクロな観測対象に拡張し、注意エネルギー景観のゆらぎに関連する有効な比熱を定義する。 モジュラー加算タスク(p = 19$--113$)の制御実験では、この揺らぎ測度において、一般化の開始に常に先行するロバストピークが観測される。 この有限深度状態において漸近的なパワーローの発散は検出されないが、再現可能なエネルギー分散の増強は、表現再構成に伴う臨界様の交叉を示唆している。 我々の枠組みは、注意スケーリング、トレーニング力学、位置符号化に関する統一的な統計力学的視点を提供し、現象を孤立したヒューリスティックスではなく、効果的な熱力学系の創発的特性として解釈する。 本結果は, 厳密な相転移ではなく, 有限サイズのクロスオーバー挙動を示すが, 揺らぎ型観測器による深層建築物のスケーリング限界について, さらなる研究を動機付けている。

関連論文リスト

• Information Physics of Intelligence: Unifying Logical Depth and Entropy under Thermodynamic Constraints [7.411478588468014]
  本稿では,情報処理を存在論的状態からキャリア状態へのマッピングを可能にする理論的枠組みを提案する。 与えられた論理深度から対象状態を計算するのに必要な有効な作業量を定量化する,新しい計量である導出エントロピーを導入する。 このことから, 導出エントロピーの最小化は, 生物と人工知能の双方の進化に支配的な原則であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-24T14:24:08Z)
• Mimicking the Physicist's Eye:A VLM-centric Approach for Physics Formula Discovery [98.58830663687911]
  VIPERR-aq1は、方程式推論のための視覚誘導を行うマルチモーダルモデルである。 視覚知覚、軌跡データ、象徴的推論を統合し、科学的発見過程をエミュレートする。 常に最先端のVLMベースラインを精度と解釈性で上回る。
  論文  参考訳（メタデータ） (2025-08-24T14:34:21Z)
• Pioneer: Physics-informed Riemannian Graph ODE for Entropy-increasing Dynamics [61.70424540412608]
  幅広いエントロピー増加動的システムに対する物理インフォームドグラフODEを提案する。 我々は、物理法則に従って、証明可能なエントロピーの非減少を報告する。 実証的な結果は、実際のデータセット上でのPioneerの優位性を示している。
  論文  参考訳（メタデータ） (2025-02-05T14:54:30Z)
• Quantum thermodynamics as a gauge theory [0.0]
  ゲージ不変な仕事と熱を定義する量子熱力学のゲージ理論が導入された。 我々はこの理論を2つの重要な方法で拡張し、以前は見過ごされていたエネルギースペクトルの退化を取り入れた。 この結果、ゲージ不変性の原理に基づく量子熱力学の完全な枠組みが導かれる。
  論文  参考訳（メタデータ） (2024-09-12T00:46:48Z)
• Physics-Encoded Graph Neural Networks for Deformation Prediction under Contact [87.69278096528156]
  ロボット工学では、触覚相互作用における物体の変形を理解することが不可欠である。 本稿では,物理符号化グラフニューラルネットワーク(GNN)を用いた予測手法を提案する。 コードとデータセットを公開して、ロボットシミュレーションと把握の研究を進めました。
  論文  参考訳（メタデータ） (2024-02-05T19:21:52Z)
• Spreading of a local excitation in a Quantum Hierarchical Model [62.997667081978825]
  常磁性相における量子ダイソン階層モデルのダイナミクスについて検討する。 地磁気場状態の局所励起による初期状態を考慮する。 局所化機構が発見され、励起は任意の時間で初期位置に近づいたままである。
  論文  参考訳（メタデータ） (2022-07-14T10:05:20Z)
• Open-system approach to nonequilibrium quantum thermodynamics at arbitrary coupling [77.34726150561087]
  熱浴に結合したオープン量子系の熱力学挙動を記述する一般的な理論を開発する。 我々のアプローチは、縮小された開系状態に対する正確な時間局所量子マスター方程式に基づいている。
  論文  参考訳（メタデータ） (2021-09-24T11:19:22Z)
• The problem of engines in statistical physics [62.997667081978825]
  エンジンは、外部の不均衡を犠牲にして、仕事を循環的に生成できるオープンシステムである。 オープン量子系の理論の最近の進歩は、自律エンジンのより現実的な記述を示している。 運動方程式に外部荷重力と熱雑音を組み込む方法を示す。
  論文  参考訳（メタデータ） (2021-08-17T03:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。