論文の概要: WorldLLM: Improving LLMs' world modeling using curiosity-driven theory-making

• arxiv url: http://arxiv.org/abs/2506.06725v1
• Date: Sat, 07 Jun 2025 09:13:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:47.047177
• Title: WorldLLM: Improving LLMs' world modeling using curiosity-driven theory-making
• Title（参考訳）: WorldLLM:好奇心駆動理論によるLLMの世界モデリングの改善
• Authors: Guillaume Levy, Cedric Colas, Pierre-Yves Oudeyer, Thomas Carta, Clement Romac,
• Abstract要約: LLM(Large Language Models)は、一般的な世界知識を持つが、シミュレーションのような構造化されたドメイン固有のコンテキストにおいて、正確な予測を生成するのに苦労することが多い。 本稿では,ベイジアン推論と自律能動探索と強化学習を組み合わせることで,LLMに基づく世界モデリングを促進するフレームワークWorldLLMを提案する。
• 参考スコア（独自算出の注目度）: 17.8062839646513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) possess general world knowledge but often struggle to generate precise predictions in structured, domain-specific contexts such as simulations. These limitations arise from their inability to ground their broad, unstructured understanding in specific environments. To address this, we present WorldLLM, a framework that enhances LLM-based world modeling by combining Bayesian inference and autonomous active exploration with reinforcement learning. WorldLLM leverages the in-context learning abilities of LLMs to guide an LLM-based world model's predictions using natural language hypotheses given in its prompt. These hypotheses are iteratively refined through a Bayesian inference framework that leverages a second LLM as the proposal distribution given collected evidence. This evidence is collected using a curiosity-driven reinforcement learning policy that explores the environment to find transitions with a low log-likelihood under our LLM-based predictive model using the current hypotheses. By alternating between refining hypotheses and collecting new evidence, our framework autonomously drives continual improvement of the predictions. Our experiments demonstrate the effectiveness of WorldLLM in a textual game environment that requires agents to manipulate and combine objects. The framework not only enhances predictive accuracy, but also generates human-interpretable theories of environment dynamics.
• Abstract（参考訳）: LLM(Large Language Models)は、一般的な世界知識を持つが、シミュレーションのような構造化されたドメイン固有のコンテキストにおいて、正確な予測を生成するのに苦労することが多い。 これらの制限は、特定の環境で広く非構造的な理解を基盤にできないことから生じる。 そこで我々は,ベイジアン推論と自律能動探索と強化学習を組み合わせることで,LLMに基づく世界モデリングを強化するフレームワークWorldLLMを提案する。 WorldLLMは、LLMの文脈内学習能力を活用し、LLMベースの世界モデルの予測を、そのプロンプトで与えられた自然言語仮説を用いて導く。 これらの仮説は、収集された証拠の分布として第二のLSMを利用するベイズ推論フレームワークを通じて反復的に洗練される。 この証拠は、好奇心駆動型強化学習政策を用いて収集され、現在の仮説を用いて、LLMに基づく予測モデルの下で、ログの少ない遷移を探索する。 仮説の修正と新たな証拠の収集を交互に行うことにより,我々の枠組みは予測の継続的な改善を自律的に進める。 エージェントがオブジェクトを操作・結合する必要があるテキストゲーム環境において,WorldLLMの有効性を実証した。 このフレームワークは予測精度を高めるだけでなく、環境力学の人間解釈可能な理論も生成する。

関連論文リスト

• Bayesian Teaching Enables Probabilistic Reasoning in Large Language Models [50.16340812031201]
  我々は,大規模言語モデル (LLM) がベイジアンフレームワークから期待されているように,その信念を更新しないことを示す。 我々は、最適ベイズモデルの予測を模倣するように訓練することで、ベイズ的な推論をLLMに教える。
  論文  参考訳（メタデータ） (2025-03-21T20:13:04Z)
• Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
  因果表現学習を大規模言語モデルと統合する枠組みを提案する。 このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。 本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-10-25T18:36:37Z)
• A Law of Next-Token Prediction in Large Language Models [30.265295018979078]
  我々は,事前学習された大規模言語モデルにおいて,中間層を経由した文脈化トークン埋め込みの学習を規定する,正確かつ定量的な法則を導入する。 その結果, 各層は最下層から最上層までの予測精度の向上に等しく寄与していることがわかった。
  論文  参考訳（メタデータ） (2024-08-24T02:48:40Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• A Hypothesis-Driven Framework for the Analysis of Self-Rationalising Models [0.8702432681310401]
  我々はベイジアンネットワークを用いて、タスクの解決方法に関する仮説を実装している。 結果のモデルはGPT-3.5と強い類似性は示さない。 今後の作業において、LCM決定をよりよく近似するフレームワークの可能性だけでなく、これの意味についても論じる。
  論文  参考訳（メタデータ） (2024-02-07T12:26:12Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。