論文の概要: Physical Transformer
- arxiv url: http://arxiv.org/abs/2601.02433v1
- Date: Mon, 05 Jan 2026 06:29:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-07 17:02:12.662536
- Title: Physical Transformer
- Title(参考訳): 物理変圧器
- Abstract要約: 本稿では,幾何学的表現と物理力学を併用した現代変圧器方式の物理変換器を提案する。
マイクロレベルでは、アテンションヘッドとフィードフォワードブロックは、ハミルトニアンと非ハミルトニアン浴条件によって支配される相互作用スピンとしてモデル化される。
メソレベルでは、その集合状態はハミルトン流下で学習されたニューラル微分多様体(NDM)上で進化し、ハミルトン、ヤコビ、ベルマン(HJB)の最適制御はシンプレクティック層によって離散化される。
- 参考スコア(独自算出の注目度): 3.280071782813277
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Digital AI systems spanning large language models, vision models, and generative architectures that operate primarily in symbolic, linguistic, or pixel domains. They have achieved striking progress, but almost all of this progress lives in virtual spaces. These systems transform embeddings and tokens, yet do not themselves touch the world and rarely admit a physical interpretation. In this work we propose a physical transformer that couples modern transformer style computation with geometric representation and physical dynamics. At the micro level, attention heads, and feed-forward blocks are modeled as interacting spins governed by effective Hamiltonians plus non-Hamiltonian bath terms. At the meso level, their aggregated state evolves on a learned Neural Differential Manifold (NDM) under Hamiltonian flows and Hamilton, Jacobi, Bellman (HJB) optimal control, discretized by symplectic layers that approximately preserve geometric and energetic invariants. At the macro level, the model maintains a generative semantic workspace and a two-dimensional information-phase portrait that tracks uncertainty and information gain over a reasoning trajectory. Within this hierarchy, reasoning tasks are formulated as controlled information flows on the manifold, with solutions corresponding to low cost trajectories that satisfy geometric, energetic, and workspace-consistency constraints. On simple toy problems involving numerical integration and dynamical systems, the physical transformer outperforms naive baselines in stability and long-horizon accuracy, highlighting the benefits of respecting underlying geometric and Hamiltonian structure. More broadly, the framework suggests a path toward physical AI that unify digital reasoning with physically grounded manifolds, opening a route to more interpretable and potentially unified models of reasoning, control, and interaction with the real world.
- Abstract(参考訳): デジタルAIシステムは、大きな言語モデル、ビジョンモデル、および主に記号的、言語的、ピクセル的ドメインで動作する生成的アーキテクチャにまたがる。
彼らは目覚ましい進歩を遂げましたが、ほとんどの進歩は仮想空間で生きています。
これらのシステムは埋め込みやトークンを変換するが、それ自体が世界に触れるわけではなく、物理的解釈をほとんど認めない。
本研究では,現代変圧器型計算と幾何学的表現と物理力学を結合した物理変換器を提案する。
マイクロレベルでは、アテンションヘッドとフィードフォワードブロックは、ハミルトニアンと非ハミルトニアン浴条件によって支配される相互作用スピンとしてモデル化される。
メソレベルでは、その集合状態はハミルトン流下で学習されたニューラル微分多様体(NDM)上で進化し、ハミルトン、ヤコビ、ベルマン(HJB)の最適制御は、幾何的およびエネルギー的不変量をほぼ保存するシンプレクティック層によって離散化される。
マクロレベルでは、モデルは生成的セマンティックワークスペースと2次元情報フェーズのポートレートを保持し、推論軌道上の不確実性と情報ゲインを追跡する。
この階層の中では、推論タスクは多様体上の制御された情報フローとして定式化され、幾何学的、エネルギ的、ワークスペース整合性の制約を満たす低コストな軌跡に対応する解が与えられる。
数値積分系と力学系を含む単純な玩具問題において、物理変圧器は安定性と長い水平精度において単純基線よりも優れており、基礎となる幾何学的およびハミルトン構造を尊重する利点を強調している。
より広範に、このフレームワークは、デジタル推論と物理的に接地された多様体を統一する物理AIへの道を示し、推論、制御、現実世界との相互作用のより解釈可能で、潜在的に統一されたモデルへの道を開く。
関連論文リスト
- DyG$^2$T: Modeling Object Dynamics with 3D Gaussian Temporal-Spatial Particle Graph Transformer [86.4618122245946]
DyG$2$Tは動的モデリングフレームワークで、キーポイント表現を空間的に完了し、時間的に識別することでオブジェクトの運動軌跡を推定する。
合成データセットと実世界のデータセットの両方の実験は、DyG$2$Tが正確な動的モデリングと推論を実現することを示した。
論文 参考訳(メタデータ) (2026-08-19T03:44:28Z) - PhysiFormer: Learning to Simulate Mechanics in World Space [56.16644631495]
物理的に表現可能な3次元物体運動のための拡散変換器であるPhysorFormerを提案する。
世界座標で表される3Dメッシュとしてオブジェクトを表す。
これは、軌道精度、剛性保存、運動量に基づく物理的一貫性において、自己回帰ベースラインを大幅に上回る。
論文 参考訳(メタデータ) (2026-06-25T17:59:00Z) - MoSA: Motion-constrained Stress Adaptation for Mitigating Real-to-Sim Gap in Continuum Dynamics via Learning Residual Anisotropy [37.207913635032604]
MoSAは、運動に制約のあるストレス適応フレームワークである。
残留応力演算子を学習し、軽度の異方性と不均一性を捉える。
物理的に意味のある残留異方性を学ぶ一方で、精度、一般化、堅牢性が向上する。
論文 参考訳(メタデータ) (2026-05-21T15:13:49Z) - LaWM: Least Action World Models for Long-Horizon Physical Consistency from Visual Observations [9.35652906982887]
学習された視覚的潜伏空間における最小アクションの原理を運用するためのラストアクション世界モデル(LaWM)を提案する。
LaWMは、学習された一般化された座標に観測を符号化し、連続的な潜伏状態上で潜在離散ラグランジアンを学ぶ。
遷移は離散的な変動原理によって誘導されるため、LaWMは長期の視覚予測のための構造保存バイアスを提供する。
論文 参考訳(メタデータ) (2026-05-08T07:03:13Z) - HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation [83.31948299340782]
HERMES++は、単一のフレームワーク内で3Dシーン理解と将来の幾何学的予測を統合する統合駆動世界モデルである。
Hermes++は、将来のクラウド予測と3Dシーン理解タスクの両方において、優れたパフォーマンスと優れたスペシャリストのアプローチを実現している。
論文 参考訳(メタデータ) (2026-04-30T17:59:58Z) - Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation [90.90219129619344]
本稿では,スパイキング機能を備えたR-prior-S, Recurrent Geometric-priormodal Policyを提案する。
物理的現実の高レベル推論を基礎として、軽量な2次元幾何学的帰納バイアスを利用する。
ロボット行動生成におけるデータ効率問題に対して,再帰的適応スパイクネットワークを導入する。
論文 参考訳(メタデータ) (2026-01-13T23:36:30Z) - Learning Physical Systems: Symplectification via Gauge Fixing in Dirac Structures [8.633430288397376]
本稿では,プレシンプレクティフィケーション・ネットワーク(PSN)について紹介する。
我々のアーキテクチャは、繰り返しエンコーダとフローマッチングの目的を組み合わせることで、エンド・ツー・エンドの位相空間力学を学習する。
次に、エネルギー、運動量、制約満足度を保ちながら、制約された軌道の予測に軽量なシンプレクティックネットワーク(SympNet)を付加する。
論文 参考訳(メタデータ) (2025-06-23T16:23:37Z) - MetaSym: A Symplectic Meta-learning Framework for Physical Intelligence [8.047222674695288]
本稿では,新しいディープラーニングフレームワークMetaSymを紹介する。
特に、MetaSymはシンプレクティックエンコーダと自己回帰デコーダから得られる強いシンプレクティックインダクティブバイアスをメタアテンションと組み合わせている。
この原理的な設計は、コアの物理的不変性を保ちつつ、フレキシブルでデータ効率の良いシステム不均一性への適応を可能にする。
論文 参考訳(メタデータ) (2025-02-23T17:52:07Z) - Conservation-informed Graph Learning for Spatiotemporal Dynamics Prediction [84.26340606752763]
本稿では,保護インフォームドGNN(CiGNN)について紹介する。
このネットワークは、保守的かつ非保守的な情報が、潜時的行進戦略によって多次元空間を通過する対称性による一般的な対称性保存則に従うように設計されている。
結果は,CiGNNが顕著なベースライン精度と一般化性を示し,様々な時間的ダイナミクスの予測のための学習に容易に適用可能であることを示した。
論文 参考訳(メタデータ) (2024-12-30T13:55:59Z) - Graph Neural PDE Solvers with Conservation and Similarity-Equivariance [6.077284832583712]
本研究は,保存法則や物理対称性に固執する,高度に一般化可能な新しい機械学習アーキテクチャを提案する。
このアーキテクチャの基礎はグラフニューラルネットワーク(GNN)である。
論文 参考訳(メタデータ) (2024-05-25T11:18:27Z) - Physics-Encoded Graph Neural Networks for Deformation Prediction under
Contact [87.69278096528156]
ロボット工学では、触覚相互作用における物体の変形を理解することが不可欠である。
本稿では,物理符号化グラフニューラルネットワーク(GNN)を用いた予測手法を提案する。
コードとデータセットを公開して、ロボットシミュレーションと把握の研究を進めました。
論文 参考訳(メタデータ) (2024-02-05T19:21:52Z) - Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。
物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。
本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
論文 参考訳(メタデータ) (2022-10-13T10:00:30Z) - Equivariant Graph Mechanics Networks with Constraints [83.38709956935095]
本稿では,グラフ力学ネットワーク(GMN)を提案する。
GMNは、一般化された座標により、構造体の前方運動学情報(位置と速度)を表す。
大規模な実験は、予測精度、制約満足度、データ効率の観点から、最先端のGNNと比較してGMNの利点を支持する。
論文 参考訳(メタデータ) (2022-03-12T14:22:14Z) - Physics-Integrated Variational Autoencoders for Robust and Interpretable
Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。
本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。
合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文 参考訳(メタデータ) (2021-02-25T20:28:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。