論文の概要: Model What Matters: Decision-Guided Selective World Modeling for Language Agents

• arxiv url: http://arxiv.org/abs/2610.19642v1
• Date: Wed, 14 Oct 2026 06:11:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.989568
• Title: Model What Matters: Decision-Guided Selective World Modeling for Language Agents
• Title（参考訳）: モデルとは何か: 言語エージェントのための決定誘導選択的世界モデリング
• Abstract要約: DGS-WMは決定誘導型政策世界モデリングによる言語エージェントの協調学習手法である。 DGS-WMは、世界モデリングターゲットとして観測ユニットを決定値でフィルタリングする決定誘導観測選択コンポーネントを使用している。 異なるモデルスケールとRLアルゴリズムの下で一貫した改善を実現し、フルオブザーブド・ワールド・モデリング法よりも安定的で効果的な性能を示す。
• 参考スコア（独自算出の注目度）: 56.3096061416884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning provides a direct mechanism for optimizing task objectives in large language model-driven agents, but task rewards are typically sparse trajectory-level signals that only evaluate task success, without directly supervising action-conditioned environment transitions, leaving the model with limited explicit understanding of action consequences and environment dynamics. Recent work introduces auxiliary supervision through policy and world modeling co-training, yet typically treats complete environmental observations uniformly as world modeling targets, overlooking the varying decision relevance of observation content. We propose DGS-WM (Decision-Guided Selective World Modeling), a decision-guided policy-world modeling co-training approach for language agents. DGS-WM employs a Decision-Guided Observation Selection component that filters observation units with decision value as world modeling targets based on their support for subsequent policy responses, and a Confidence-Adaptive Weighting component that adaptively adjusts supervision strength according to the model's prediction confidence on selected targets. Together, these components form a decision-aware auxiliary world modeling loss, jointly optimized with the RL loss on the same policy model. Across multiple benchmarks covering single-hop/multi-hop question answering and interactive web tasks, DGS-WM achieves consistent improvements under different model scales and RL algorithms, demonstrating more stable and effective performance compared to full-observation world modeling methods.
• Abstract（参考訳）: 強化学習は、大規模言語モデル駆動エージェントでタスク目標を最適化する直接的なメカニズムを提供するが、タスク報酬は通常、アクション条件付き環境遷移を直接監督することなく、タスクの成功のみを評価する粗末なトラジェクトリレベルの信号であり、アクション結果と環境ダイナミクスの限定的な理解をモデルに残す。 最近の研究は、政策と世界モデリングの協調訓練を通じて補助的な監督を導入するが、一般的には、完全な環境観察を世界モデリングの対象として一様に扱い、観察内容のさまざまな決定関連性を見越す。 本稿では,DGS-WM(Decision-Guided Selective World Modeling)を提案する。 DGS-WMは、その後の政策対応のサポートに基づいて、世界モデリングターゲットとして、決定値の観測単位をフィルタリングする決定誘導観測選択コンポーネントと、モデルが選択した目標に対する予測信頼度に応じて、監督強度を適応的に調整する信頼適応重み付けコンポーネントを用いる。 これらのコンポーネントは、同じポリシーモデル上のRL損失と共同で最適化された、決定を意識した補助的世界モデリング損失を形成する。 DGS-WMは、シングルホップ/マルチホップ質問応答と対話型Webタスクをカバーする複数のベンチマークで、異なるモデルスケールとRLアルゴリズムで一貫した改善を実現し、フルオブザーバの世界モデリング手法と比較してより安定的で効果的なパフォーマンスを示す。

関連論文リスト

• From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence [54.62791372989525]
  アクションモデル、ビジョン言語-アクションポリシー、世界モデルは、この目標を前進させた。 世界行動モデル(WAM)は、候補者の介入と予測された結果とを結びつけるため、特に有望である。 我々は、WAMへの進化をレビューし、これらの制限をモデルの役割と表現、目的と標準化、システム構成という3つの組み合わせのギャップにまとめる。
  論文  参考訳（メタデータ） (2026-07-13T15:22:56Z)
• Beyond Next-Observation Prediction: Agent-Authored World Modeling for Sequential Decision Making [18.81793832623564]
  政策の意思決定ニーズから監督を構築するための訓練手順を提案する。 具体的には、各状態において、エージェントは行動する前に環境について何を理解する必要があるかを識別する。 これは、トレーニングの目的を次の観察の内容ではなく、行動する前にポリシーが必要とするダイナミックスと整合させる。
  論文  参考訳（メタデータ） (2026-06-24T05:31:00Z)
• Slot-MPC: Goal-Conditioned Model Predictive Control with Object-Centric Representations [16.513260843365902]
  Slot-MPCは、モデル予測制御による計画を可能にするオブジェクト中心の世界モデリングフレームワークである。 Slot-MPCは,非対象中心の世界モデルベースラインに比べてタスク性能と計画効率を向上することを示す。 この結果は、明示的に構造化されたオブジェクト中心の表現が、制御可能で一般化可能な意思決定に強い帰納的バイアスをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-05-14T15:12:15Z)
• HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models [58.191567345416836]
  世界行動モデル(WAM)は、物理力学のモデリングによるロボット制御のための有望なパラダイムとして登場した。 HarmoWAMは、予測と反応の制御を統一するために世界モデルを完全に活用し、一般的なトランジットと正確な操作を可能にする。 実世界の6つのロボットタスクにまたがる3つのトレーニング未確認テスト環境を構築し、背景、位置、オブジェクトの意味のバリエーションをカバーした。
  論文  参考訳（メタデータ） (2026-05-11T17:59:56Z)
• Object-Centric World Models for Causality-Aware Reinforcement Learning [13.063093054280946]
  カルーサリティ対応強化学習(ASTICA)を用いたEmph Transformer Imaginationを提案する。 オブジェクト中心のトランスフォーマーが世界モデルおよび因果対応ポリシーおよびバリューネットワークとして機能する統合フレームワーク。 オブジェクトリッチベンチマークの実験では、STICAはサンプル効率と最終性能の両方において、最先端のエージェントよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-11-18T08:53:09Z)
• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
  対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。 提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-12-14T15:53:07Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。