論文の概要: Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics

• arxiv url: http://arxiv.org/abs/2602.08216v2
• Date: Fri, 13 Feb 2026 05:45:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 15:25:03.294628
• Title: Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics
• Title（参考訳）: 変圧器の熱力学的同型性:注意ダイナミクスに対するラグランジアン的アプローチ
• Authors: Gunn Kim,
• Abstract要約: シャノン-ボルツマンエントロピーの枠組みの中では、ソフトマックス関数はヘルムホルツ自由エネルギー関数を最小化する定常解として現れる。 このマッピングをマクロな観測対象に拡張し、注意エネルギー景観のゆらぎに関連する有効な比熱を定義する。 我々のフレームワークは、注意スケーリング、トレーニングダイナミクス、位置エンコーディングに関する統一的な統計的・機械的な視点を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an effective field-theoretic framework for analyzing Transformer attention through a thermodynamic lens. By constructing a Lagrangian on the information manifold equipped with the Fisher metric, we show that, within the Shannon--Boltzmann entropy framework, the Softmax function arises as a stationary solution minimizing a Helmholtz free energy functional. This establishes a formal correspondence between scaled dot-product attention and canonical ensemble statistics. Extending this mapping to macroscopic observables, we define an effective specific heat associated with fluctuations of the attention energy landscape. In controlled experiments on the modular addition task ($p = 19$--$113$), we observe a robust peak in this fluctuation measure that consistently precedes the onset of generalization. While no asymptotic power-law divergence is detected in this finite-depth regime, the reproducible enhancement of energy variance suggests a critical-like crossover accompanying representational reorganization. Our framework provides a unified statistical-mechanical perspective on attention scaling, training dynamics, and positional encoding, interpreting the phenomena as emergent properties of an effective thermodynamic system rather than isolated heuristics. Although the present results indicate finite-size crossover behavior rather than a strict phase transition, they motivate further investigation into scaling limits of deep architectures through fluctuation-based observables.
• Abstract（参考訳）: 熱力学的レンズを用いてトランスフォーマーの注意を解析するための有効場理論フレームワークを提案する。 フィッシャー計量を備えた情報多様体上にラグランジアンを構成することにより、シャノン-ボルツマンエントロピーの枠組みの中で、ソフトマックス函数はヘルムホルツ自由エネルギー汎函数を最小化する定常解として現れることを示す。 これにより、スケールしたドット積の注意と標準アンサンブル統計の間の公式な対応が確立される。 このマッピングをマクロな観測対象に拡張し、注意エネルギー景観のゆらぎに関連する有効な比熱を定義する。 モジュラー加算タスク(p = 19$--113$)の制御実験では、この揺らぎ測度において、一般化の開始に常に先行するロバストピークが観測される。 この有限深度状態において漸近的なパワーローの発散は検出されないが、再現可能なエネルギー分散の増強は、表現再構成に伴う臨界様の交叉を示唆している。 我々の枠組みは、注意スケーリング、トレーニング力学、位置符号化に関する統一的な統計力学的視点を提供し、現象を孤立したヒューリスティックスではなく、効果的な熱力学系の創発的特性として解釈する。 本結果は, 厳密な相転移ではなく, 有限サイズのクロスオーバー挙動を示すが, 揺らぎ型観測器による深層建築物のスケーリング限界について, さらなる研究を動機付けている。

関連論文リスト

• Universal Sensitivity Bound for Thermal Quantum Dynamic Sensing [7.847010035336918]
  熱プローブ状態に対する動的量子フィッシャー情報は、変換された局所発生器と熱状態に対するハミルトニアンとの間の非交換の度合いによって上界であることが示される。 この上界は、逆温度と進化時間の積の平方としてスケールする。 低温限界では、エネルギーギャップで割られた可換子の半ノルムとして表される追加の上界を確立する。
  論文  参考訳（メタデータ） (2025-12-02T03:19:21Z)
• Information Physics of Intelligence: Unifying Logical Depth and Entropy under Thermodynamic Constraints [7.411478588468014]
  本稿では,情報処理を存在論的状態からキャリア状態へのマッピングを可能にする理論的枠組みを提案する。 与えられた論理深度から対象状態を計算するのに必要な有効な作業量を定量化する,新しい計量である導出エントロピーを導入する。 このことから, 導出エントロピーの最小化は, 生物と人工知能の双方の進化に支配的な原則であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-24T14:24:08Z)
• Mimicking the Physicist's Eye:A VLM-centric Approach for Physics Formula Discovery [98.58830663687911]
  VIPERR-aq1は、方程式推論のための視覚誘導を行うマルチモーダルモデルである。 視覚知覚、軌跡データ、象徴的推論を統合し、科学的発見過程をエミュレートする。 常に最先端のVLMベースラインを精度と解釈性で上回る。
  論文  参考訳（メタデータ） (2025-08-24T14:34:21Z)
• Thermodynamic Analysis for Harmonic Oscillator with Position-Dependent Mass [0.0]
  その結果,αの増大はエントロピーと比熱の減少を招き,制限によるアクセス可能な状態の減少を反映していることがわかった。 本研究は、質量変形が量子熱応答に与える影響を明らかにし、全体的な熱力学の傾向は文献に報告されているものと一致しているが、特定の特異な特徴は変形の特定の形態によって現れることを示した。
  論文  参考訳（メタデータ） (2025-05-21T20:00:44Z)
• Eigenstate Thermalization Hypothesis correlations via non-linear Hydrodynamics [0.0]
  熱力学限界における時間秩序付き自由累積材の潜時挙動を予測した。 よい一致は、無限温度と有限温度の両方で観測される。
  論文  参考訳（メタデータ） (2025-05-11T06:35:16Z)
• Pioneer: Physics-informed Riemannian Graph ODE for Entropy-increasing Dynamics [61.70424540412608]
  幅広いエントロピー増加動的システムに対する物理インフォームドグラフODEを提案する。 我々は、物理法則に従って、証明可能なエントロピーの非減少を報告する。 実証的な結果は、実際のデータセット上でのPioneerの優位性を示している。
  論文  参考訳（メタデータ） (2025-02-05T14:54:30Z)
• Quantum thermodynamics as a gauge theory [0.0]
  ゲージ不変な仕事と熱を定義する量子熱力学のゲージ理論が導入された。 我々はこの理論を2つの重要な方法で拡張し、以前は見過ごされていたエネルギースペクトルの退化を取り入れた。 この結果、ゲージ不変性の原理に基づく量子熱力学の完全な枠組みが導かれる。
  論文  参考訳（メタデータ） (2024-09-12T00:46:48Z)
• Heat and Work in Quantum Thermodynamics: a Cybernetic Approach [0.0]
  制御理論による可観測性分解に基づく仕事と熱を区別する新しい提案を提案する。 観測可能エネルギーの即時散逸を表すエルミート作用素を導出し、フォン・ノイマンエントロピーの一般化を提案する。
  論文  参考訳（メタデータ） (2024-03-04T13:26:48Z)
• Physics-Encoded Graph Neural Networks for Deformation Prediction under Contact [87.69278096528156]
  ロボット工学では、触覚相互作用における物体の変形を理解することが不可欠である。 本稿では,物理符号化グラフニューラルネットワーク(GNN)を用いた予測手法を提案する。 コードとデータセットを公開して、ロボットシミュレーションと把握の研究を進めました。
  論文  参考訳（メタデータ） (2024-02-05T19:21:52Z)
• Dynamically Emergent Quantum Thermodynamics: Non-Markovian Otto Cycle [49.1574468325115]
  我々は,量子オットーサイクルの熱力学的挙動を再考し,メモリ効果と強い系-バス結合に着目した。 我々の研究は、厳密な量子マスター方程式を用いて、マルコビアン性(英語版)を正確に扱うことに基づいている。
  論文  参考訳（メタデータ） (2023-08-18T11:00:32Z)
• Quantum Effects on the Synchronization Dynamics of the Kuramoto Model [62.997667081978825]
  量子揺らぎは同期の出現を妨げるが、完全に抑制するわけではない。 モデルパラメータへの依存を強調して,臨界結合の解析式を導出する。
  論文  参考訳（メタデータ） (2023-06-16T16:41:16Z)
• Spreading of a local excitation in a Quantum Hierarchical Model [62.997667081978825]
  常磁性相における量子ダイソン階層モデルのダイナミクスについて検討する。 地磁気場状態の局所励起による初期状態を考慮する。 局所化機構が発見され、励起は任意の時間で初期位置に近づいたままである。
  論文  参考訳（メタデータ） (2022-07-14T10:05:20Z)
• Photoinduced prethermal order parameter dynamics in the two-dimensional large-$N$ Hubbard-Heisenberg model [77.34726150561087]
  2次元相関電子モデルにおいて、競合する秩序相の微視的ダイナミクスについて検討する。 2つの競合する位相間の光誘起遷移をシミュレートする。
  論文  参考訳（メタデータ） (2022-05-13T13:13:31Z)
• Accessing the topological Mott insulator in cold atom quantum simulators with realistic Rydberg dressing [58.720142291102135]
  本稿では, コールド・ライドバーグ型原子を用いた光学格子の量子シミュレーションの現実的シナリオについて検討する。 本研究では, 平均場近似において, 半次および非共役充填時の位相図の詳細な解析を行う。 さらに、平均場近似における温度に対する相の安定性について検討する。
  論文  参考訳（メタデータ） (2022-03-28T14:55:28Z)
• Open-system approach to nonequilibrium quantum thermodynamics at arbitrary coupling [77.34726150561087]
  熱浴に結合したオープン量子系の熱力学挙動を記述する一般的な理論を開発する。 我々のアプローチは、縮小された開系状態に対する正確な時間局所量子マスター方程式に基づいている。
  論文  参考訳（メタデータ） (2021-09-24T11:19:22Z)
• The problem of engines in statistical physics [62.997667081978825]
  エンジンは、外部の不均衡を犠牲にして、仕事を循環的に生成できるオープンシステムである。 オープン量子系の理論の最近の進歩は、自律エンジンのより現実的な記述を示している。 運動方程式に外部荷重力と熱雑音を組み込む方法を示す。
  論文  参考訳（メタデータ） (2021-08-17T03:59:09Z)
• Out-of-time-order correlations and the fine structure of eigenstate thermalisation [58.720142291102135]
  量子情報力学と熱化を特徴付けるツールとして、OTOC(Out-of-time-orderor)が確立されている。 我々は、OTOCが、ETH(Eigenstate Thermalisation hypothesis)の詳細な詳細を調査するための、本当に正確なツールであることを明確に示している。 無限温度状態における局所作用素の和からなる可観測物の一般クラスに対して、$omega_textrmGOE$の有限サイズスケーリングを推定する。
  論文  参考訳（メタデータ） (2021-03-01T17:51:46Z)
• Driven-dissipative Ising Model: An exact field-theoretical analysis [0.0]
  駆動散逸多体系は、非平衡力学、散逸、多体相互作用により解析的に解析することが困難である。 我々は、単純な散乱図から理解可能な、正確な場の理論解析とスピンモデルの図式表現を開発する。
  論文  参考訳（メタデータ） (2021-01-13T19:00:21Z)
• Probing eigenstate thermalization in quantum simulators via fluctuation-dissipation relations [77.34726150561087]
  固有状態熱化仮説(ETH)は、閉量子多体系の平衡へのアプローチの普遍的なメカニズムを提供する。 本稿では, ゆらぎ・散逸関係の出現を観測し, 量子シミュレータのフルETHを探索する理論に依存しない経路を提案する。 我々の研究は、量子シミュレータにおける熱化を特徴づける理論に依存しない方法を示し、凝縮物質ポンプ-プローブ実験をシミュレーションする方法を舗装する。
  論文  参考訳（メタデータ） (2020-07-20T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。