論文の概要: Second Thoughts: Exploring and Planning through Comparative Imagination in World Models

• arxiv url: http://arxiv.org/abs/2610.28779v1
• Date: Tue, 20 Oct 2026 18:12:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.117363
• Title: Second Thoughts: Exploring and Planning through Comparative Imagination in World Models
• Title（参考訳）: 第二の考え:世界モデルにおける比較イマジネーションによる探索と計画
• Abstract要約: SDI (Sibling Disagreement in Imagination) を導入する。 SDIは、同じモデル状態から想像されるアクションシーケンスを比較し、アクター自身のシーケンスの繰り返しロールアウトを使用して、一定の振る舞いの下での変動を測定する。 SDIは、基本エージェントの世界モデル、アクター、批評家を、さらなる意見の相違なしに再利用する。
• 参考スコア（独自算出の注目度）: 7.060248012897499
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: World models let agents compare imagined outcomes before acting, but an agent must still decide which alternatives to explore and when a proposed plan should replace its learned policy. We introduce SDI (Sibling Disagreement in Imagination), which connects these decisions through a shared actor-based reference. SDI compares action sequences imagined from the same model state, using repeated rollouts of the actor's own sequence to measure variation under fixed behavior. This reference scales both the spread across candidate returns, which provides an exploration signal, and a proposed plan's predicted advantage, which governs action acceptance. The agent executes a planned action when its advantage exceeds the reference variability by a fixed factor; otherwise, it follows the actor. SDI reuses the base agent's world model, actor, and critic without requiring an additional disagreement ensemble. Exploration and planning guide training data collection, while evaluation uses the learned actor alone. Across Meta-World, Adroit, and DM-Control, SDI achieves a higher observed task-average score than every compared baseline in each suite and matches or exceeds the strongest baseline's performance on 15 of 18 tasks. Component ablations and robustness analyses further examine the roles of exploration, planning exposure, and action acceptance. Paired evaluations from identical simulator states show that the gate improves both recovery from actor failures and preservation of successful behavior relative to ungated planning, while substantially reducing return degradation. Together, these results support comparing imagined alternatives against a shared actor reference as a unified approach to exploring and planning with world models.
• Abstract（参考訳）: 世界モデルでは、エージェントは行動する前に想像された結果を比較することができるが、エージェントは、どの選択肢を探索するか、そして提案された計画が学習した方針を置き換えるべき時期を決定する必要がある。 SDI(Sibling Disagreement in Imagination)を導入し,これらの決定を共有アクターベースの参照を通じて接続する。 SDIは、同じモデル状態から想像されるアクションシーケンスを比較し、アクター自身のシーケンスの繰り返しロールアウトを使用して、一定の振る舞いの下での変動を測定する。 この参照は、探索信号を提供する候補戻り値の拡散と、行動受け入れを管理する計画の予測上の優位性の両方をスケールする。 エージェントは、そのアドバンテージが基準変数を一定要素で超過した場合、計画されたアクションを実行する。 SDIは、基本エージェントの世界モデル、アクター、批評家を、さらなる意見の相違なしに再利用する。 探索と計画ガイドによるデータ収集、評価は学習したアクターのみを使用する。 Meta-World、Adroit、DM-Controlの他、SDIは各スイートで比較された各ベースラインよりも高い平均タスクスコアを達成し、18タスク中15タスクにおいて最強のベースラインのパフォーマンスを達成または上回る。 コンポーネント・アブレーションとロバストネス分析は、探索、計画公開、行動受容の役割をさらに調べる。 同一シミュレーション状態からのペア評価では、ゲートはアクター故障からの回復とアンゲート計画に対する成功行動の保存の両方を改善し、リターン劣化を著しく低減する。 これらの結果は、世界モデルによる探索と計画のための統一的なアプローチとして、想像上の代替案と共有アクター参照の比較を支援する。

関連論文リスト

• Independent Multi-Agent Reinforcement Learning with Counterfactual Semantic-Social World Models [45.70357546589222]
  CASTLEは2つの相補的な世界モデルを備えたオフライントレーニング・オンライン・イン・コンテクスト・ガイダンス・フレームワークである。 エージェントの局所軌跡をオフラインで事前訓練したローカルダイナミクスワールドモデルでは、エージェントの局所軌跡ダイナミクスと部分可観測性を要約している。 セマンティック・ソーシャル・ワールド・モデル(Semantic-Social World Model)は、各候補のエゴ行動に対するコンパクトな短期的タスクと社会的結果を予測する。 後者は、同一ログされたロールアウト状態から取得した代替アクションに対して、可愛らしいチームメイトと反対のレスポンスを公開する、反ファクト的なロールアウトからトレーニングされる。
  論文  参考訳（メタデータ） (2026-10-06T03:53:47Z)
• Beyond Prediction: Steering VLM Agents with Retrospective World Modeling [38.89406602855148]
  世界モデリング能力を持つVLMエージェントは、複雑な推論と長期計画に強い可能性を示している。 本稿では,エージェントの逆推論を可能にする新しいエージェント学習パラダイムであるRetrospective World Modelingを紹介する。 本手法は, 政策の堅牢性と, 将来的な世界モデリングベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2026-09-30T06:41:04Z)
• Do Robotic World Models Really Follow Actions? Diagnosing and Aligning Action-Conditioned Generation for Policy Learning [53.77164209208635]
  本稿では,視覚的整合性と軌跡アライメントを用いて,より広い行動分布を探索するWorldEchoを紹介する。 本稿では,3つの軸に沿った行動(分布カバレッジ,表現的接地,介入効果のアライメント)を強化するWorldSyncを提案する。 RoboTwinベンチマークと実ロボットタスクの実験は、WorldSyncがWorldEchoメトリクスを改善し、反復的なポリシー改善のためのより信頼性の高いシミュレータとして機能していることを示している。
  論文  参考訳（メタデータ） (2026-08-25T17:59:49Z)
• World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry [82.93104394404781]
  汎用世界モデルは、スケーラブルなポリシー評価、最適化、計画を約束します。 本稿では,世界モデルによる予測誤りと自己改善を識別するフレームワークであるWorld Action Verifier(WAV)を提案する。
  論文  参考訳（メタデータ） (2026-04-02T12:48:36Z)
• Credit Assignment and Efficient Exploration based on Influence Scope in Multi-agent Reinforcement Learning [2.8111817372725785]
  スパース・リワードシナリオにおける協調エージェントの訓練は、マルチエージェント強化学習(MARL)に重大な課題をもたらす 本研究では,個々のエージェントの影響を受けうる状態の次元/属性の特定の値を取ることで,エージェントのスコープ(ISA)が状態に与える影響を計算するアルゴリズムを提案する。 エージェントの行動と状態属性の相互依存は、各エージェントの信用割り当てを計算し、各エージェントの探索空間を除くために使用される。
  論文  参考訳（メタデータ） (2025-05-13T14:49:26Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。