論文の概要: Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics

• arxiv url: http://arxiv.org/abs/2602.08216v1
• Date: Mon, 09 Feb 2026 02:42:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.035909
• Title: Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics
• Title（参考訳）: 変圧器の熱力学的同型性:注意ダイナミクスに対するラグランジアン的アプローチ
• Authors: Gunn Kim,
• Abstract要約: トランスフォーマーアーキテクチャは人工知能に革命をもたらしたが、その基盤となるメカニズムは依然として大きく、統一された物理理論が欠如している。 本稿では,情報力学の第一原理フレームワークを提案し,注意機構を最小動作原理によって制御される物理システムとして扱う。 我々の研究は統計物理学とディープラーニングを結びつけ、物理学に基づく知能の一般的な理論の基礎を築いた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although the Transformer architecture has revolutionized artificial intelligence, its underlying mechanisms remain largely heuristic and lack a unified physical theory. In this work, we propose a first-principles framework for information dynamics, treating the attention mechanism as a physical system governed by the principle of least action rather than as an algorithmic optimization. By mapping information states to a Riemannian manifold with the Fisher information metric, we derive the intelligence Lagrangian. We show that the softmax function corresponds to the unique thermodynamic equilibrium state that minimizes the Helmholtz free energy of the information gas. In addition, we identify the query-key interaction as an electrodynamic coupling between an external field and an intrinsic dipole moment. This theory establishes the first law of information thermodynamics, unifying inference (mechanical work) and learning (chemical evolution). It also explains emergent phenomena, such as scaling laws and grokking, as phase transitions characterized by the divergence of specific heat. Finally, we discuss how rotational symmetry breaking in the attention manifold generates massless Goldstone bosons, providing a field-theoretic perspective on rotary positional embeddings (RoPE). Our work connects Statistical Physics and Deep Learning, laying the groundwork for a general theory of physics-based intelligence.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは人工知能に革命をもたらしたが、その基盤となるメカニズムはほとんどヒューリスティックであり、統一された物理理論が欠如している。 本研究では,情報力学の第一原理フレームワークを提案し,アテンション機構をアルゴリズム最適化よりも最小動作の原理に支配される物理システムとして扱う。 情報状態をフィッシャー情報計量でリーマン多様体にマッピングすることにより、インテリジェンスラグランジアンを導出する。 ソフトマックス関数は情報ガスのヘルムホルツ自由エネルギーを最小化するユニークな熱力学平衡状態に対応することを示す。 さらに,問合せキーの相互作用を,外界と固有双極子モーメントの電気力学的結合として同定する。 この理論は情報熱力学の最初の法則を確立し、推論(機械的作業)と学習(化学進化)を統一する。 また、スケーリング法則やグルーキングのような創発的な現象を、特定の熱の分散によって特徴づけられる相転移として説明する。 最後に、アテンション多様体における回転対称性の破れが無質量のゴールドストーン粒子をどうやって生成するかを論じ、回転位置埋め込み(RoPE)の場理論的な視点を提供する。 我々の研究は統計物理学とディープラーニングを結びつけ、物理学に基づく知能の一般的な理論の基礎を築いた。

関連論文リスト

• Universal Sensitivity Bound for Thermal Quantum Dynamic Sensing [7.847010035336918]
  熱プローブ状態に対する動的量子フィッシャー情報は、変換された局所発生器と熱状態に対するハミルトニアンとの間の非交換の度合いによって上界であることが示される。 この上界は、逆温度と進化時間の積の平方としてスケールする。 低温限界では、エネルギーギャップで割られた可換子の半ノルムとして表される追加の上界を確立する。
  論文  参考訳（メタデータ） (2025-12-02T03:19:21Z)
• Information Physics of Intelligence: Unifying Logical Depth and Entropy under Thermodynamic Constraints [7.411478588468014]
  本稿では,情報処理を存在論的状態からキャリア状態へのマッピングを可能にする理論的枠組みを提案する。 与えられた論理深度から対象状態を計算するのに必要な有効な作業量を定量化する,新しい計量である導出エントロピーを導入する。 このことから, 導出エントロピーの最小化は, 生物と人工知能の双方の進化に支配的な原則であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-24T14:24:08Z)
• Mimicking the Physicist's Eye:A VLM-centric Approach for Physics Formula Discovery [98.58830663687911]
  VIPERR-aq1は、方程式推論のための視覚誘導を行うマルチモーダルモデルである。 視覚知覚、軌跡データ、象徴的推論を統合し、科学的発見過程をエミュレートする。 常に最先端のVLMベースラインを精度と解釈性で上回る。
  論文  参考訳（メタデータ） (2025-08-24T14:34:21Z)
• Thermodynamic Analysis for Harmonic Oscillator with Position-Dependent Mass [0.0]
  その結果,αの増大はエントロピーと比熱の減少を招き,制限によるアクセス可能な状態の減少を反映していることがわかった。 本研究は、質量変形が量子熱応答に与える影響を明らかにし、全体的な熱力学の傾向は文献に報告されているものと一致しているが、特定の特異な特徴は変形の特定の形態によって現れることを示した。
  論文  参考訳（メタデータ） (2025-05-21T20:00:44Z)
• Eigenstate Thermalization Hypothesis correlations via non-linear Hydrodynamics [0.0]
  熱力学限界における時間秩序付き自由累積材の潜時挙動を予測した。 よい一致は、無限温度と有限温度の両方で観測される。
  論文  参考訳（メタデータ） (2025-05-11T06:35:16Z)
• Pioneer: Physics-informed Riemannian Graph ODE for Entropy-increasing Dynamics [61.70424540412608]
  幅広いエントロピー増加動的システムに対する物理インフォームドグラフODEを提案する。 我々は、物理法則に従って、証明可能なエントロピーの非減少を報告する。 実証的な結果は、実際のデータセット上でのPioneerの優位性を示している。
  論文  参考訳（メタデータ） (2025-02-05T14:54:30Z)
• Quantum thermodynamics as a gauge theory [0.0]
  ゲージ不変な仕事と熱を定義する量子熱力学のゲージ理論が導入された。 我々はこの理論を2つの重要な方法で拡張し、以前は見過ごされていたエネルギースペクトルの退化を取り入れた。 この結果、ゲージ不変性の原理に基づく量子熱力学の完全な枠組みが導かれる。
  論文  参考訳（メタデータ） (2024-09-12T00:46:48Z)
• Heat and Work in Quantum Thermodynamics: a Cybernetic Approach [0.0]
  制御理論による可観測性分解に基づく仕事と熱を区別する新しい提案を提案する。 観測可能エネルギーの即時散逸を表すエルミート作用素を導出し、フォン・ノイマンエントロピーの一般化を提案する。
  論文  参考訳（メタデータ） (2024-03-04T13:26:48Z)
• Physics-Encoded Graph Neural Networks for Deformation Prediction under Contact [87.69278096528156]
  ロボット工学では、触覚相互作用における物体の変形を理解することが不可欠である。 本稿では,物理符号化グラフニューラルネットワーク(GNN)を用いた予測手法を提案する。 コードとデータセットを公開して、ロボットシミュレーションと把握の研究を進めました。
  論文  参考訳（メタデータ） (2024-02-05T19:21:52Z)
• Dynamically Emergent Quantum Thermodynamics: Non-Markovian Otto Cycle [49.1574468325115]
  我々は,量子オットーサイクルの熱力学的挙動を再考し,メモリ効果と強い系-バス結合に着目した。 我々の研究は、厳密な量子マスター方程式を用いて、マルコビアン性(英語版)を正確に扱うことに基づいている。
  論文  参考訳（メタデータ） (2023-08-18T11:00:32Z)
• Quantum Effects on the Synchronization Dynamics of the Kuramoto Model [62.997667081978825]
  量子揺らぎは同期の出現を妨げるが、完全に抑制するわけではない。 モデルパラメータへの依存を強調して,臨界結合の解析式を導出する。
  論文  参考訳（メタデータ） (2023-06-16T16:41:16Z)
• Spreading of a local excitation in a Quantum Hierarchical Model [62.997667081978825]
  常磁性相における量子ダイソン階層モデルのダイナミクスについて検討する。 地磁気場状態の局所励起による初期状態を考慮する。 局所化機構が発見され、励起は任意の時間で初期位置に近づいたままである。
  論文  参考訳（メタデータ） (2022-07-14T10:05:20Z)
• Photoinduced prethermal order parameter dynamics in the two-dimensional large-$N$ Hubbard-Heisenberg model [77.34726150561087]
  2次元相関電子モデルにおいて、競合する秩序相の微視的ダイナミクスについて検討する。 2つの競合する位相間の光誘起遷移をシミュレートする。
  論文  参考訳（メタデータ） (2022-05-13T13:13:31Z)
• Accessing the topological Mott insulator in cold atom quantum simulators with realistic Rydberg dressing [58.720142291102135]
  本稿では, コールド・ライドバーグ型原子を用いた光学格子の量子シミュレーションの現実的シナリオについて検討する。 本研究では, 平均場近似において, 半次および非共役充填時の位相図の詳細な解析を行う。 さらに、平均場近似における温度に対する相の安定性について検討する。
  論文  参考訳（メタデータ） (2022-03-28T14:55:28Z)
• Open-system approach to nonequilibrium quantum thermodynamics at arbitrary coupling [77.34726150561087]
  熱浴に結合したオープン量子系の熱力学挙動を記述する一般的な理論を開発する。 我々のアプローチは、縮小された開系状態に対する正確な時間局所量子マスター方程式に基づいている。
  論文  参考訳（メタデータ） (2021-09-24T11:19:22Z)
• The problem of engines in statistical physics [62.997667081978825]
  エンジンは、外部の不均衡を犠牲にして、仕事を循環的に生成できるオープンシステムである。 オープン量子系の理論の最近の進歩は、自律エンジンのより現実的な記述を示している。 運動方程式に外部荷重力と熱雑音を組み込む方法を示す。
  論文  参考訳（メタデータ） (2021-08-17T03:59:09Z)
• Out-of-time-order correlations and the fine structure of eigenstate thermalisation [58.720142291102135]
  量子情報力学と熱化を特徴付けるツールとして、OTOC(Out-of-time-orderor)が確立されている。 我々は、OTOCが、ETH(Eigenstate Thermalisation hypothesis)の詳細な詳細を調査するための、本当に正確なツールであることを明確に示している。 無限温度状態における局所作用素の和からなる可観測物の一般クラスに対して、$omega_textrmGOE$の有限サイズスケーリングを推定する。
  論文  参考訳（メタデータ） (2021-03-01T17:51:46Z)
• Driven-dissipative Ising Model: An exact field-theoretical analysis [0.0]
  駆動散逸多体系は、非平衡力学、散逸、多体相互作用により解析的に解析することが困難である。 我々は、単純な散乱図から理解可能な、正確な場の理論解析とスピンモデルの図式表現を開発する。
  論文  参考訳（メタデータ） (2021-01-13T19:00:21Z)
• Probing eigenstate thermalization in quantum simulators via fluctuation-dissipation relations [77.34726150561087]
  固有状態熱化仮説(ETH)は、閉量子多体系の平衡へのアプローチの普遍的なメカニズムを提供する。 本稿では, ゆらぎ・散逸関係の出現を観測し, 量子シミュレータのフルETHを探索する理論に依存しない経路を提案する。 我々の研究は、量子シミュレータにおける熱化を特徴づける理論に依存しない方法を示し、凝縮物質ポンプ-プローブ実験をシミュレーションする方法を舗装する。
  論文  参考訳（メタデータ） (2020-07-20T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。