論文の概要: How To Train Your World Model: Fine-tuning vs RAG for LM-based World Modeling

• arxiv url: http://arxiv.org/abs/2610.02542v1
• Date: Thu, 01 Oct 2026 22:30:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.099095
• Title: How To Train Your World Model: Fine-tuning vs RAG for LM-based World Modeling
• Title（参考訳）: 世界モデルのトレーニング方法: LMベースの世界モデリングのための微調整対RAG
• Abstract要約: 我々は、LMベースの世界モデリングのための微調整とRAGベースのアプローチを比較した。 微調整はしばしばRAGよりも優れ、微調整されたWMによってエージェントは15/20設定でより高い報酬を得ることができる。 本稿では,RAGに基づくWMに着目して,検索段階の誤り率を推定する手法を提案する。
• 参考スコア（独自算出の注目度）: 24.050088761951255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World models (WMs) simulate the transition dynamics of environments, enabling agents to plan over the consequences of their actions. In text-based environments, fine-tuning a Language Model (LM) to serve as a WM has emerged as a dominant paradigm. However, despite the widespread success of non-parametric approaches such as Retrieval Augmented Generation (RAG), retrieval for LM-based world modelling remains underexplored. We conduct a systematic evaluation across five diverse environments spanning embodied, web navigation and social settings, comparing fine-tuning and RAG-based approaches for LM-based world modelling. Our study reveals that fine-tuning often outperforms RAG, with fine-tuned WMs enabling agents to obtain higher rewards on 15/20 settings. While both construction paradigms benefit from additional and more diverse exploration, RAG-based approaches prove more data-efficient, and fine-tuning approaches disproportionately benefit from scaling the amount of experience collected. With a focus on RAG-based WMs, we devise a procedure that uses counterfactual intervention to estimate the error rate of the retrieval stage, and show that retrievers consistently surface suboptimal transitions from the experience buffer. Hoping to address this failing, we study a variety of query reformulation strategies, demonstrating that a hierarchical approach outperforms the traditional retrieval pipeline. Finally, we compose our findings into a hybrid world modelling system that parametrically captures core environment dynamics, while learning to rely on retrieval from an actively maintained memory store. Our hybrid system consistently outperforms other methods across multiple environments and models, showcasing the robustness of the approach and the applicability of our findings.
• Abstract（参考訳）: 世界モデル(WM)は環境の遷移力学をシミュレートし、エージェントが行動の結果を計画することができる。 テキストベースの環境では、WMとして機能する言語モデル(LM)の微調整が主流となっている。 しかし、Retrieval Augmented Generation (RAG)のような非パラメトリックな手法が広く普及しているにもかかわらず、LMベースの世界モデリングの検索はいまだに探索されていない。 実装,Webナビゲーション,社会設定を対象とする5つの環境の体系的評価を行い,微調整とRAGに基づく世界モデリングのアプローチを比較した。 我々の研究では、微調整がRAGを上回り、微調整されたWMによって15/20設定でより高い報酬を得ることができることが判明した。 両方の建設パラダイムは、さらに多様な探索によって恩恵を受けるが、RAGベースのアプローチは、よりデータ効率が良く、微調整のアプローチは、収集された経験の規模を拡大することで不均等に恩恵を受ける。 RAGに基づくWMに焦点をあてて,検索段階の誤差率を推定する手法を考案し,経験バッファからの準最適遷移を連続的に表すことを示す。 この障害に対処するために、さまざまなクエリ修正戦略を研究し、階層的なアプローチが従来のパイプラインよりも優れていることを示す。 最後に,本研究の成果を,アクティブなメモリストアからの検索を学習しながら,コア環境のダイナミックスをパラメトリックにキャプチャするハイブリッドワールドモデリングシステムにまとめる。 我々のハイブリッドシステムは、複数の環境やモデルにまたがる他の手法よりも一貫して優れており、アプローチの堅牢性と我々の研究結果の適用性を示している。

関連論文リスト

• DeepBias: Adaptive In-depth Probing of Social Biases in LVLMs [71.85279836937578]
  我々は、注意深く設計されたエージェントを用いたLVLMにおける社会バイアスの奥行き探索のための適応的フレームワークDeepBiasを紹介する。 私たちは、私たちのフレームワークを使ってDeepBiasBenchという名のベンチマークを構築します。5つの異なる最先端のLVLMをアンカーとして使用することで、このベンチマークはアーキテクチャ間で共有される脆弱性をキャプチャします。
  論文  参考訳（メタデータ） (2026-07-13T08:19:09Z)
• Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL [0.8546394944138487]
  我々は、テキストベースの世界モデリングを、初期状態に分解可能な遷移力学問題として定式化する。 我々は、9つのオープンソース環境と12のフロンティアモデルファミリーにまたがる239,403の基底状態行動軌跡をキュレートする。 我々は,決定論的状態チェックを備えたGRPOトレーニングフレームワークを導入し,3つのOOD環境上でゼロショット転送処理を行う。
  論文  参考訳（メタデータ） (2026-05-07T00:40:32Z)
• Optimistic World Models: Efficient Exploration in Model-Based Deep Reinforcement Learning [12.864604506942294]
  楽観的探索のための原則的でスケーラブルなフレームワークであるOptimistic World Models (OWMs)を紹介する。 OWMは楽観的なダイナミクス損失を伴う拡張によるモデル学習に直接楽観性を取り入れる。 OWMは2つの最先端の世界モデルアーキテクチャ内でインスタンス化され、Optimistic DreamerV3とOptimistic STORMに導かれる。
  論文  参考訳（メタデータ） (2026-02-10T18:11:00Z)
• Grounded Test-Time Adaptation for LLM Agents [75.62784644919803]
  大規模言語モデル(LLM)ベースのエージェントは、新規で複雑な環境への一般化に苦慮している。 環境特化情報を活用することで, LLMエージェントを適応するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-06T22:24:35Z)
• Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
  本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。 ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。 我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
  論文  参考訳（メタデータ） (2025-10-11T18:11:09Z)
• VDFD: Multi-Agent Value Decomposition Framework with Disentangled World Model [10.36125908359289]
  本稿では,Distangled World Modelを用いた新しいモデルベースマルチエージェント強化学習手法であるValue Decomposition Frameworkを提案する。 提案手法は, サンプル効率が高く, 多様なマルチエージェント学習タスクにおいて, 他のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-08T22:12:43Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Continual Visual Reinforcement Learning with A Life-Long World Model [55.05017177980985]
  視覚力学モデリングのための新しい連続学習手法を提案する。 まず,タスク固有の潜在ダイナミクスを学習する長寿命世界モデルを紹介する。 そして,探索・保守的行動学習手法を用いて,過去の課題に対する価値推定問題に対処する。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。