論文の概要: Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics

• arxiv url: http://arxiv.org/abs/2602.08216v1
• Date: Mon, 09 Feb 2026 02:42:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.035909
• Title: Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics
• Title（参考訳）: 変圧器の熱力学的同型性:注意ダイナミクスに対するラグランジアン的アプローチ
• Authors: Gunn Kim,
• Abstract要約: トランスフォーマーアーキテクチャは人工知能に革命をもたらしたが、その基盤となるメカニズムは依然として大きく、統一された物理理論が欠如している。 本稿では,情報力学の第一原理フレームワークを提案し,注意機構を最小動作原理によって制御される物理システムとして扱う。 我々の研究は統計物理学とディープラーニングを結びつけ、物理学に基づく知能の一般的な理論の基礎を築いた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although the Transformer architecture has revolutionized artificial intelligence, its underlying mechanisms remain largely heuristic and lack a unified physical theory. In this work, we propose a first-principles framework for information dynamics, treating the attention mechanism as a physical system governed by the principle of least action rather than as an algorithmic optimization. By mapping information states to a Riemannian manifold with the Fisher information metric, we derive the intelligence Lagrangian. We show that the softmax function corresponds to the unique thermodynamic equilibrium state that minimizes the Helmholtz free energy of the information gas. In addition, we identify the query-key interaction as an electrodynamic coupling between an external field and an intrinsic dipole moment. This theory establishes the first law of information thermodynamics, unifying inference (mechanical work) and learning (chemical evolution). It also explains emergent phenomena, such as scaling laws and grokking, as phase transitions characterized by the divergence of specific heat. Finally, we discuss how rotational symmetry breaking in the attention manifold generates massless Goldstone bosons, providing a field-theoretic perspective on rotary positional embeddings (RoPE). Our work connects Statistical Physics and Deep Learning, laying the groundwork for a general theory of physics-based intelligence.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは人工知能に革命をもたらしたが、その基盤となるメカニズムはほとんどヒューリスティックであり、統一された物理理論が欠如している。 本研究では,情報力学の第一原理フレームワークを提案し,アテンション機構をアルゴリズム最適化よりも最小動作の原理に支配される物理システムとして扱う。 情報状態をフィッシャー情報計量でリーマン多様体にマッピングすることにより、インテリジェンスラグランジアンを導出する。 ソフトマックス関数は情報ガスのヘルムホルツ自由エネルギーを最小化するユニークな熱力学平衡状態に対応することを示す。 さらに,問合せキーの相互作用を,外界と固有双極子モーメントの電気力学的結合として同定する。 この理論は情報熱力学の最初の法則を確立し、推論(機械的作業)と学習(化学進化)を統一する。 また、スケーリング法則やグルーキングのような創発的な現象を、特定の熱の分散によって特徴づけられる相転移として説明する。 最後に、アテンション多様体における回転対称性の破れが無質量のゴールドストーン粒子をどうやって生成するかを論じ、回転位置埋め込み(RoPE)の場理論的な視点を提供する。 我々の研究は統計物理学とディープラーニングを結びつけ、物理学に基づく知能の一般的な理論の基礎を築いた。

関連論文リスト

• Information Physics of Intelligence: Unifying Logical Depth and Entropy under Thermodynamic Constraints [7.411478588468014]
  本稿では,情報処理を存在論的状態からキャリア状態へのマッピングを可能にする理論的枠組みを提案する。 与えられた論理深度から対象状態を計算するのに必要な有効な作業量を定量化する,新しい計量である導出エントロピーを導入する。 このことから, 導出エントロピーの最小化は, 生物と人工知能の双方の進化に支配的な原則であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-24T14:24:08Z)
• Mimicking the Physicist's Eye:A VLM-centric Approach for Physics Formula Discovery [98.58830663687911]
  VIPERR-aq1は、方程式推論のための視覚誘導を行うマルチモーダルモデルである。 視覚知覚、軌跡データ、象徴的推論を統合し、科学的発見過程をエミュレートする。 常に最先端のVLMベースラインを精度と解釈性で上回る。
  論文  参考訳（メタデータ） (2025-08-24T14:34:21Z)
• Pioneer: Physics-informed Riemannian Graph ODE for Entropy-increasing Dynamics [61.70424540412608]
  幅広いエントロピー増加動的システムに対する物理インフォームドグラフODEを提案する。 我々は、物理法則に従って、証明可能なエントロピーの非減少を報告する。 実証的な結果は、実際のデータセット上でのPioneerの優位性を示している。
  論文  参考訳（メタデータ） (2025-02-05T14:54:30Z)
• Quantum thermodynamics as a gauge theory [0.0]
  ゲージ不変な仕事と熱を定義する量子熱力学のゲージ理論が導入された。 我々はこの理論を2つの重要な方法で拡張し、以前は見過ごされていたエネルギースペクトルの退化を取り入れた。 この結果、ゲージ不変性の原理に基づく量子熱力学の完全な枠組みが導かれる。
  論文  参考訳（メタデータ） (2024-09-12T00:46:48Z)
• Physics-Encoded Graph Neural Networks for Deformation Prediction under Contact [87.69278096528156]
  ロボット工学では、触覚相互作用における物体の変形を理解することが不可欠である。 本稿では,物理符号化グラフニューラルネットワーク(GNN)を用いた予測手法を提案する。 コードとデータセットを公開して、ロボットシミュレーションと把握の研究を進めました。
  論文  参考訳（メタデータ） (2024-02-05T19:21:52Z)
• Spreading of a local excitation in a Quantum Hierarchical Model [62.997667081978825]
  常磁性相における量子ダイソン階層モデルのダイナミクスについて検討する。 地磁気場状態の局所励起による初期状態を考慮する。 局所化機構が発見され、励起は任意の時間で初期位置に近づいたままである。
  論文  参考訳（メタデータ） (2022-07-14T10:05:20Z)
• Open-system approach to nonequilibrium quantum thermodynamics at arbitrary coupling [77.34726150561087]
  熱浴に結合したオープン量子系の熱力学挙動を記述する一般的な理論を開発する。 我々のアプローチは、縮小された開系状態に対する正確な時間局所量子マスター方程式に基づいている。
  論文  参考訳（メタデータ） (2021-09-24T11:19:22Z)
• The problem of engines in statistical physics [62.997667081978825]
  エンジンは、外部の不均衡を犠牲にして、仕事を循環的に生成できるオープンシステムである。 オープン量子系の理論の最近の進歩は、自律エンジンのより現実的な記述を示している。 運動方程式に外部荷重力と熱雑音を組み込む方法を示す。
  論文  参考訳（メタデータ） (2021-08-17T03:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。