論文の概要: From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

• arxiv url: http://arxiv.org/abs/2602.06923v1
• Date: Fri, 06 Feb 2026 18:17:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.521225
• Title: From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers
• Title（参考訳）: Kepler から Newton へ: トランスフォーマーのワールドモデルを学ぶインダクティブバイアスガイド
• Authors: Ziming Liu, Sophia Sanborn, Surya Ganguli, Andreas Tolias,
• Abstract要約: 汎用AIアーキテクチャは、予測を越えて宇宙を支配する物理法則を発見することができる。 空間的滑らかさを確保することで、汎用トランスフォーマーは以前の失敗を克服し、コヒーレントなケプラー世界モデルを学ぶことができることを示す。 我々は、このモデルを曲線フィッティングを放棄し、ニュートンの力表現を発見するように強制する。
• 参考スコア（独自算出の注目度）: 31.952312085850668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can general-purpose AI architectures go beyond prediction to discover the physical laws governing the universe? True intelligence relies on "world models" -- causal abstractions that allow an agent to not only predict future states but understand the underlying governing dynamics. While previous "AI Physicist" approaches have successfully recovered such laws, they typically rely on strong, domain-specific priors that effectively "bake in" the physics. Conversely, Vafa et al. recently showed that generic Transformers fail to acquire these world models, achieving high predictive accuracy without capturing the underlying physical laws. We bridge this gap by systematically introducing three minimal inductive biases. We show that ensuring spatial smoothness (by formulating prediction as continuous regression) and stability (by training with noisy contexts to mitigate error accumulation) enables generic Transformers to surpass prior failures and learn a coherent Keplerian world model, successfully fitting ellipses to planetary trajectories. However, true physical insight requires a third bias: temporal locality. By restricting the attention window to the immediate past -- imposing the simple assumption that future states depend only on the local state rather than a complex history -- we force the model to abandon curve-fitting and discover Newtonian force representations. Our results demonstrate that simple architectural choices determine whether an AI becomes a curve-fitter or a physicist, marking a critical step toward automated scientific discovery.
• Abstract（参考訳）: 汎用AIアーキテクチャは、予測を越えて宇宙を支配する物理法則を発見することができるのか? エージェントは将来の状態を予測できるだけでなく、根底にある支配的ダイナミクスを理解することができる。 以前の「AI物理学者」アプローチはそのような法則の回復に成功しているが、それらは典型的には、物理学を効果的に「巻き込む」強力なドメイン固有の先例に依存している。 逆に、Vafaらは最近、ジェネリックトランスフォーマーがこれらの世界モデルを取得するのに失敗し、基礎となる物理法則を捉えることなく高い予測精度を達成することを示した。 3つの最小限の帰納バイアスを体系的に導入することで、このギャップを埋める。 空間的滑らかさの確保(連続回帰による予測)と安定性の確保(ノイズ文脈によるトレーニングによる誤り蓄積の軽減)により、ジェネリックトランスフォーマーは事前の故障を克服し、コヒーレントケプラー世界モデルを学び、楕円を惑星軌道に適合させることに成功した。 しかし、真の物理的洞察には第3のバイアス:時間的局所性が必要である。 注意窓を直近の過去に制限することで、将来の状態は複雑な歴史ではなく局所的な状態にのみ依存するという単純な仮定を示唆することで、我々は曲線整合を放棄しニュートンの力表現を発見することを強制する。 我々の結果は、AIが曲線フィッターになるか物理学者になるかを決定する単純なアーキテクチャの選択が示され、自動化された科学的発見への重要なステップが示される。

関連論文リスト

• Walk through Paintings: Egocentric World Models from Internet Priors [65.30611174953958]
  本稿では,エゴセントリック・ワールド・モデル(EgoWM)について述べる。 我々は、スクラッチからトレーニングするよりも、インターネット規模のビデオモデルのリッチワールドを再利用し、軽量なコンディショニング層を通じてモーターコマンドを注入する。 当社のアプローチは,3-DoF移動ロボットから25-DoFヒューマノイドまで,エボディメントやアクションスペースを自然に拡張する。
  論文  参考訳（メタデータ） (2026-01-21T18:59:32Z)
• What Happens Next? Anticipating Future Motion by Generating Point Trajectories [76.16266402727643]
  一つの画像から動きを予測し、世界の物体がどのように動くかを予測する問題を考察する。 我々はこのタスクを,現代のビデオジェネレータのアーキテクチャを忠実に追従するモデルを用いて,高密度トラジェクトリグリッドの条件生成として定式化する。 このアプローチはシーン全体のダイナミクスと不確実性を捉え、以前の回帰器やジェネレータよりも正確で多様な予測をもたらす。
  論文  参考訳（メタデータ） (2025-09-25T21:03:56Z)
• Mimicking the Physicist's Eye:A VLM-centric Approach for Physics Formula Discovery [98.58830663687911]
  VIPERR-aq1は、方程式推論のための視覚誘導を行うマルチモーダルモデルである。 視覚知覚、軌跡データ、象徴的推論を統合し、科学的発見過程をエミュレートする。 常に最先端のVLMベースラインを精度と解釈性で上回る。
  論文  参考訳（メタデータ） (2025-08-24T14:34:21Z)
• What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models [3.394160022376002]
  本研究では,合成データセットへの適応性を評価する基礎モデルの評価手法を開発した。 基礎モデルはトレーニングタスクに優れるが、新しいタスクに適応すると、基礎となる世界モデルに対する帰納的バイアスを発生させることができない。
  論文  参考訳（メタデータ） (2025-07-09T15:36:15Z)
• SPOTR: Spatio-temporal Pose Transformers for Human Motion Prediction [12.248428883804763]
  3次元人間の動き予測は、コンピュータビジョンにおける高い重要性と課題を計算した研究領域である。 伝統的に、自己回帰モデルは人間の動きを予測するために用いられてきた。 人間の動作予測のための非自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2023-03-11T01:44:29Z)
• Predictive World Models from Real-World Partial Observations [66.80340484148931]
  本研究では,現実の道路環境に対する確率論的予測世界モデル学習のためのフレームワークを提案する。 従来の手法では、学習のための基礎的真理として完全状態を必要とするが、HVAEが部分的に観察された状態のみから完全状態を予測することを学べる新しい逐次訓練法を提案する。
  論文  参考訳（メタデータ） (2023-01-12T02:07:26Z)
• A Spatio-temporal Transformer for 3D Human Motion Prediction [39.31212055504893]
  本研究では,3次元人間の動きの生成モデル作成作業のためのトランスフォーマーに基づくアーキテクチャを提案する。 実験により,これが基礎となる運動力学を効果的に学習し,自己回帰モデルで観測される時間経過に伴う誤差の蓄積を低減することを示した。
  論文  参考訳（メタデータ） (2020-04-18T19:49:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。