論文の概要: Inducing Causal World Models in LLMs for Zero-Shot Physical Reasoning

• arxiv url: http://arxiv.org/abs/2507.19855v2
• Date: Tue, 29 Jul 2025 01:57:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 12:52:36.840529
• Title: Inducing Causal World Models in LLMs for Zero-Shot Physical Reasoning
• Title（参考訳）: ゼロショット物理推論のためのLDMにおける因果世界モデルの導入
• Authors: Aditya Sharma, Linh Nguyen, Ananya Gupta, Chengyu Wang, Chiamaka Adebayo, Jakub Kowalski,
• Abstract要約: Causal World Model Injection (CWMI)は、AIシステムに因果物理の明示的なモデルを組み込むように設計されたフレームワークである。 CWMIは、ゼロショット物理推論タスクにおいて最先端のAIシステムを大幅に上回る。
• 参考スコア（独自算出の注目度）: 8.647104927811135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs), despite their advanced linguistic capabilities, fundamentally lack an intuitive understanding of physical dynamics, which limits their effectiveness in real-world scenarios that require causal reasoning. In this paper, we introduce Causal World Model Induction (CWMI), a novel framework designed to embed an explicit model of causal physics within an LLM. Our approach incorporates a dedicated Causal Physics Module (CPM) and a new training objective called Causal Intervention Loss, encouraging the model to learn cause-and-effect relationships from multimodal data. By training the model to predict the outcomes of hypothetical interventions instead of merely capturing statistical correlations, CWMI develops a robust internal representation of physical laws. Experimental results show that CWMI significantly outperforms state-of-the-art LLMs on zero-shot physical reasoning tasks, including the PIQA benchmark and our newly proposed PhysiCa-Bench dataset. These findings demonstrate that inducing a causal world model is a critical step toward more reliable and generalizable AI systems.
• Abstract（参考訳）: 言語モデル(LLM)は高度な言語機能にもかかわらず、物理的力学の直感的な理解が欠如しており、因果推論を必要とする現実のシナリオにおけるそれらの有効性を制限している。 本稿では,LLM内に因果物理の明示的なモデルを構築するための新しいフレームワークであるCausal World Model Injection (CWMI)を紹介する。 提案手法は,CPM(Causal Physics Module)とCausal Intervention Loss(Causal Intervention Loss)と呼ばれる新たなトレーニング目標を取り入れ,マルチモーダルデータから因果関係の学習を促す。 統計的相関を単に捉えるのではなく、仮説的介入の結果を予測するためにモデルを訓練することにより、CWMIは物理法則の堅牢な内部表現を開発する。 実験の結果,CWMIはPIQAベンチマークや新たに提案したPhysicalCa-Benchデータセットなど,ゼロショット物理推論タスクにおいて,最先端のLCMよりも大幅に優れていた。 これらの結果は、因果世界モデルの導入が、より信頼性が高く一般化可能なAIシステムへの重要なステップであることを示している。

関連論文リスト

• Models of Heavy-Tailed Mechanistic Universality [62.107333654304014]
  トレーニングニューラルネットワークにおける重み付け行動を引き起こす属性を探索するために,ランダム行列モデルのファミリーを提案する。 このモデルの下では、3つの独立した因子の組み合わせによって、尾翼の電力法則によるスペクトル密度が生じる。 ニューラルネットワークトレーニングの5段階以上において、ニューラルネットワークのスケーリング法則、軌道、および5段階以上の位相を含む重尾の出現に対する我々のモデルの影響について論じる。
  論文  参考訳（メタデータ） (2025-06-04T00:55:01Z)
• Cognitive Activation and Chaotic Dynamics in Large Language Models: A Quasi-Lyapunov Analysis of Reasoning Mechanisms [6.375329734462518]
  本稿では,大規模言語モデルの推論機構の本質を明らかにする「認知活性化理論」を提案する。 実験により、モデルの情報の蓄積は非線形指数法則に従っており、Multilayer Perceptron (MLP) は最終的な出力においてより高い割合を占めることが示された。 本研究は, LLMの推論の解釈可能性に関するカオス理論の枠組みを提供し, モデル設計における創造性と信頼性のバランスをとるための潜在的経路を明らかにする。
  論文  参考訳（メタデータ） (2025-03-15T08:15:10Z)
• LLMPhy: Complex Physical Reasoning Using Large Language Models and World Models [35.01842161084472]
  そこで我々は,TraySimという物理推論タスクとデータセットを提案する。 私たちのタスクは、外部の影響を受けるトレイ上のいくつかのオブジェクトのダイナミクスを予測することです。 LLMの物理知識とプログラム合成能力を活用するゼロショットブラックボックス最適化フレームワークであるLLMPhyを提案する。 この結果から,LLMと物理エンジンの組み合わせにより,最先端のゼロショット物理推論性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-11-12T18:56:58Z)
• Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
  世界の知識と論理的推論の相互作用について検討する。 最先端の大規模言語モデル(LLM)は、しばしば表面的な一般化に依存している。 タスクの単純な再構成により、より堅牢な推論行動が引き起こされることを示す。
  論文  参考訳（メタデータ） (2024-10-31T12:48:58Z)
• Investigating the Impact of Model Complexity in Large Language Models [3.7919508292745676]
  事前訓練された微調整パラダイムに基づく大規模言語モデル(LLM)は、自然言語処理タスクの解決において重要な役割を担っている。 本稿では,自己回帰 LLM に着目し,HMM (Hidden Markov Models) を用いたモデリングを提案する。
  論文  参考訳（メタデータ） (2024-10-01T13:53:44Z)
• Making Large Language Models into World Models with Precondition and Effect Knowledge [1.8561812622368763]
  本研究では,Large Language Models (LLM) を2つの重要な世界モデル関数の実行に利用することができることを示す。 我々は、我々のモデルが生み出す前提条件と効果知識が、世界力学の人間の理解と一致していることを検証する。
  論文  参考訳（メタデータ） (2024-09-18T19:28:04Z)
• Targeted Reduction of Causal Models [55.11778726095353]
  因果表現学習(Causal Representation Learning)は、シミュレーションで解釈可能な因果パターンを明らかにするための有望な道を提供する。 本稿では、複雑な相互作用可能なモデルを因果因子の簡潔な集合に凝縮する方法であるTCR(Targeted Causal Reduction)を紹介する。 複雑なモデルから解釈可能な高レベルな説明を生成する能力は、玩具や機械システムで実証されている。
  論文  参考訳（メタデータ） (2023-11-30T15:46:22Z)
• Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions [59.284907093349425]
  大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
  論文  参考訳（メタデータ） (2022-07-28T17:36:24Z)
• Causal Dynamics Learning for Task-Independent State Abstraction [61.707048209272884]
  タスク独立状態抽象化(CDL)のための因果ダイナミクス学習を導入する。 CDLは、状態変数とアクションの間の不要な依存関係を取り除く理論的に証明された因果ダイナミクスモデルを学ぶ。 状態抽象化は、学習されたダイナミクスから導き出すことができる。
  論文  参考訳（メタデータ） (2022-06-27T17:02:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。