論文の概要: Physical Transformer

• arxiv url: http://arxiv.org/abs/2601.02433v1
• Date: Mon, 05 Jan 2026 06:29:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.662536
• Title: Physical Transformer
• Title（参考訳）: 物理変圧器
• Authors: Tao Xu, Zhixin Hu, Li Luo, Momiao Xiong,
• Abstract要約: 本稿では,幾何学的表現と物理力学を併用した現代変圧器方式の物理変換器を提案する。 マイクロレベルでは、アテンションヘッドとフィードフォワードブロックは、ハミルトニアンと非ハミルトニアン浴条件によって支配される相互作用スピンとしてモデル化される。 メソレベルでは、その集合状態はハミルトン流下で学習されたニューラル微分多様体(NDM)上で進化し、ハミルトン、ヤコビ、ベルマン(HJB)の最適制御はシンプレクティック層によって離散化される。
• 参考スコア（独自算出の注目度）: 3.280071782813277
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Digital AI systems spanning large language models, vision models, and generative architectures that operate primarily in symbolic, linguistic, or pixel domains. They have achieved striking progress, but almost all of this progress lives in virtual spaces. These systems transform embeddings and tokens, yet do not themselves touch the world and rarely admit a physical interpretation. In this work we propose a physical transformer that couples modern transformer style computation with geometric representation and physical dynamics. At the micro level, attention heads, and feed-forward blocks are modeled as interacting spins governed by effective Hamiltonians plus non-Hamiltonian bath terms. At the meso level, their aggregated state evolves on a learned Neural Differential Manifold (NDM) under Hamiltonian flows and Hamilton, Jacobi, Bellman (HJB) optimal control, discretized by symplectic layers that approximately preserve geometric and energetic invariants. At the macro level, the model maintains a generative semantic workspace and a two-dimensional information-phase portrait that tracks uncertainty and information gain over a reasoning trajectory. Within this hierarchy, reasoning tasks are formulated as controlled information flows on the manifold, with solutions corresponding to low cost trajectories that satisfy geometric, energetic, and workspace-consistency constraints. On simple toy problems involving numerical integration and dynamical systems, the physical transformer outperforms naive baselines in stability and long-horizon accuracy, highlighting the benefits of respecting underlying geometric and Hamiltonian structure. More broadly, the framework suggests a path toward physical AI that unify digital reasoning with physically grounded manifolds, opening a route to more interpretable and potentially unified models of reasoning, control, and interaction with the real world.
• Abstract（参考訳）: デジタルAIシステムは、大きな言語モデル、ビジョンモデル、および主に記号的、言語的、ピクセル的ドメインで動作する生成的アーキテクチャにまたがる。 彼らは目覚ましい進歩を遂げましたが、ほとんどの進歩は仮想空間で生きています。 これらのシステムは埋め込みやトークンを変換するが、それ自体が世界に触れるわけではなく、物理的解釈をほとんど認めない。 本研究では,現代変圧器型計算と幾何学的表現と物理力学を結合した物理変換器を提案する。 マイクロレベルでは、アテンションヘッドとフィードフォワードブロックは、ハミルトニアンと非ハミルトニアン浴条件によって支配される相互作用スピンとしてモデル化される。 メソレベルでは、その集合状態はハミルトン流下で学習されたニューラル微分多様体(NDM)上で進化し、ハミルトン、ヤコビ、ベルマン(HJB)の最適制御は、幾何的およびエネルギー的不変量をほぼ保存するシンプレクティック層によって離散化される。 マクロレベルでは、モデルは生成的セマンティックワークスペースと2次元情報フェーズのポートレートを保持し、推論軌道上の不確実性と情報ゲインを追跡する。 この階層の中では、推論タスクは多様体上の制御された情報フローとして定式化され、幾何学的、エネルギ的、ワークスペース整合性の制約を満たす低コストな軌跡に対応する解が与えられる。 数値積分系と力学系を含む単純な玩具問題において、物理変圧器は安定性と長い水平精度において単純基線よりも優れており、基礎となる幾何学的およびハミルトン構造を尊重する利点を強調している。 より広範に、このフレームワークは、デジタル推論と物理的に接地された多様体を統一する物理AIへの道を示し、推論、制御、現実世界との相互作用のより解釈可能で、潜在的に統一されたモデルへの道を開く。

関連論文リスト

• MetaSym: A Symplectic Meta-learning Framework for Physical Intelligence [8.047222674695288]
  本稿では,新しいディープラーニングフレームワークMetaSymを紹介する。 特に、MetaSymはシンプレクティックエンコーダと自己回帰デコーダから得られる強いシンプレクティックインダクティブバイアスをメタアテンションと組み合わせている。 この原理的な設計は、コアの物理的不変性を保ちつつ、フレキシブルでデータ効率の良いシステム不均一性への適応を可能にする。
  論文  参考訳（メタデータ） (2025-02-23T17:52:07Z)
• Conservation-informed Graph Learning for Spatiotemporal Dynamics Prediction [84.26340606752763]
  本稿では,保護インフォームドGNN(CiGNN)について紹介する。 このネットワークは、保守的かつ非保守的な情報が、潜時的行進戦略によって多次元空間を通過する対称性による一般的な対称性保存則に従うように設計されている。 結果は,CiGNNが顕著なベースライン精度と一般化性を示し,様々な時間的ダイナミクスの予測のための学習に容易に適用可能であることを示した。
  論文  参考訳（メタデータ） (2024-12-30T13:55:59Z)
• Graph Neural PDE Solvers with Conservation and Similarity-Equivariance [6.077284832583712]
  本研究は,保存法則や物理対称性に固執する,高度に一般化可能な新しい機械学習アーキテクチャを提案する。 このアーキテクチャの基礎はグラフニューラルネットワーク(GNN)である。
  論文  参考訳（メタデータ） (2024-05-25T11:18:27Z)
• Physics-Encoded Graph Neural Networks for Deformation Prediction under Contact [87.69278096528156]
  ロボット工学では、触覚相互作用における物体の変形を理解することが不可欠である。 本稿では,物理符号化グラフニューラルネットワーク(GNN)を用いた予測手法を提案する。 コードとデータセットを公開して、ロボットシミュレーションと把握の研究を進めました。
  論文  参考訳（メタデータ） (2024-02-05T19:21:52Z)
• Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
  グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。 物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。 本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
  論文  参考訳（メタデータ） (2022-10-13T10:00:30Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。