論文の概要: Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization

• arxiv url: http://arxiv.org/abs/2608.08523v1
• Date: Sun, 09 Aug 2026 06:41:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.859908
• Title: Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization
• Title（参考訳）: 品質・多様性最適化型マルチモーダルエボダイドエージェントの多変量計画法
• Abstract要約: マルチモーダルエンボディエージェントの多様な計画方針を発見するための品質多様性フレームワークを提案する。 提案手法は,計画型テンプレートを進化可能な個人として扱い,行動インデクシングしたアーカイブとして整理する。 オフラインの段階では、ロールアウトの軌跡は構造化された成功と失敗の経験にまとめられ、ポリシーの変化を導く。 オンラインの段階では、システムは最新のチェックポイントにロールバックし、動作的に異なるアーカイブポリシーに切り替えて実行を再開する。
• 参考スコア（独自算出の注目度）: 14.306388130938236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal embodied agents are increasingly required to solve long-horizon tasks by integrating visual observations, textual goals, and interaction history into closed-loop decision making. However, state-of-the-art large-model-based planners often rely on a single dominant planning style during execution. Once this execution mode becomes ineffective, the agent may remain stalled for many steps, repeatedly interacting with the environment without making meaningful progress. We address this limitation by proposing a Quality-Diversity (QD) framework for discovering diverse planning policies for multimodal embodied agents. The proposed method treats planning-policy templates as evolvable individuals and organizes them into a behavior-indexed archive rather than collapsing search to a single prompt style. In the offline stage, rollout trajectories are summarized into structured success and failure experiences, which guide policy variation through recombination and experience-guided mutation. The resulting policies are mapped into a behavior space defined by interaction intensity and goal-directedness, and the highest-quality policy in each niche is retained in the archive. In the online stage, the agent executes one policy at a time while monitoring task progress. When persistent stall is detected, the system rolls back to the latest checkpoint and switches to a behaviorally distinct archive policy to resume execution. Experiments on the ThreeDWorld transport benchmark show that the proposed framework improves both task success and interaction efficiency over representative baseline planners. These results suggest that discovering diverse policy repertoires is an effective way to support adaptive multimodal planning and online failure recovery.
• Abstract（参考訳）: マルチモーダルエンボディエージェントは、視覚的観察、テキスト目標、相互作用履歴をクローズループ決定に組み込むことによって、長い水平課題を解決するためにますます必要となる。 しかし、最先端の大規模モデルベースのプランナーは、実行中に単一の支配的な計画スタイルに依存することが多い。 この実行モードが無効になると、エージェントは多くのステップで停止し、意味のある進歩をすることなく環境と繰り返し対話する。 マルチモーダルエンボディエージェントの多様な計画方針を発見するためのQD(Quality-Diversity)フレームワークを提案することで、この制限に対処する。 提案手法は,計画型テンプレートを進化可能な個人として扱い,単一のプロンプトスタイルに分解するのではなく,行動インデクシングされたアーカイブに整理する。 オフラインの段階では、ロールアウトトラジェクトリは構造化された成功と失敗経験にまとめられ、リコンビネーションと経験誘導突然変異を通じてポリシーの変化を導く。 得られたポリシーは、相互作用の強度とゴール指向性によって定義された行動空間にマッピングされ、各ニッチにおける最高品質のポリシーはアーカイブに保持される。 オンラインの段階では、エージェントはタスクの進捗を監視しながら一度に1つのポリシーを実行する。 永続的なストールが検出されると、システムは最新のチェックポイントに戻り、動作的に異なるアーカイブポリシーに切り替えて実行を再開する。 ThreeDWorldトランスポートベンチマークの実験から,提案するフレームワークは,代表的ベースラインプランナよりもタスク成功とインタラクション効率を向上することが示された。 これらの結果から,多様な政策レパートリーの発見は,適応型マルチモーダル計画とオンライン障害復旧を支援する効果的な方法であることが示唆された。

関連論文リスト

• OpenLoopEvolve: A Verifiable Self-Evolution Framework for Loop Policies in Long-Horizon Complex Tasks [17.773038952370865]
  本稿では,ループポリシーを中心とした自己進化フレームワークであるOpenLoopEvolve(OLE)について述べる。 OLEは、エージェントの観察、計画、記憶、行動、検証、回復、停止、予算管理を、バージョンと系統を持つポータブルなポリシー資産として表現する。 オンラインモードは連続的な操作からのフィードバックに基づいて候補生成をトリガーし、オフラインモードはアーカイブされたトレースと障害証拠から候補ポリシーを検索する。
  論文  参考訳（メタデータ） (2026-08-10T09:57:26Z)
• Behavioral Mode Discovery for Fine-tuning Multimodal Generative Policies [7.282730307270664]
  強化学習(RL)を用いた微調整事前学習政策の課題に対処する。 生成ポリシーの既存のRL微調整法は、様々な振る舞いを1つの報酬最大化モードに分解する。 生成ポリシー内での潜在行動モードを明らかにするための教師なしモード発見フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T01:19:09Z)
• HiPolicy: Hierarchical Multi-Frequency Action Chunking for Policy Learning [17.3424491065084]
  HiPolicyは階層的な多周波数アクションチャンキングフレームワークで、異なる周波数でのアクションシーケンスを予測し、粗い高レベル計画と正確な反応性動作の両方をキャプチャする。 多様なシミュレーションベンチマークと実世界の操作タスクの実験は、HiPolicyが既存の2Dおよび3D生成ポリシーにシームレスに統合可能であることを示している。
  論文  参考訳（メタデータ） (2026-04-07T16:47:38Z)
• AgentSwing: Adaptive Parallel Context Management Routing for Long-Horizon Web Agents [115.18197165538943]
  大規模言語モデル(LLM)は、長距離情報探索のための自律エージェントへと進化する。 既存のコンテキスト管理手法は通常、軌道全体を通して単一の固定戦略にコミットする。 本稿では,探索効率と終端精度の2つの相補的な次元を通じて,長期的成功を特徴付ける確率的枠組みを提案する。
  論文  参考訳（メタデータ） (2026-03-29T02:59:27Z)
• From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
  疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。 モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。 タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
  論文  参考訳（メタデータ） (2026-01-28T09:29:40Z)
• Multimodal LLM-assisted Evolutionary Search for Programmatic Control Policies [36.44665658496622]
  この研究は、MLES(Multimodal Large Language Model-assisted Evolutionary Search)と呼ばれるプログラム制御ポリシー発見のための新しいアプローチを導入する。 MLESはマルチモーダルな大言語モデルをプログラム型ポリシー生成器として利用し、それらを進化的検索と組み合わせてポリシー生成を自動化する。 実験の結果,MLESは2つの標準制御タスクでPPOに匹敵する性能を達成できた。
  論文  参考訳（メタデータ） (2025-08-07T14:24:03Z)
• Offline Multi-agent Reinforcement Learning via Score Decomposition [51.23590397383217]
  オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。 この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
  論文  参考訳（メタデータ） (2025-05-09T11:42:31Z)
• Offline Multi-Agent Reinforcement Learning via In-Sample Sequential Policy Optimization [8.877649895977479]
  オフラインマルチエージェント強化学習(英語: offline Multi-Agent Reinforcement Learning, MARL)は、事前コンパイルされたデータセットから最適なマルチエージェントポリシーを学ぶことを目的とした新興分野である。 本研究では、既存のオフラインMARLメソッドを再検討し、特定のシナリオにおいて問題となる可能性があることを示す。 In-Sample Sequential Policy Optimization (InSPO) と呼ばれる新しいオフラインMARLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-10T16:19:08Z)
• Learning From Good Trajectories in Offline Multi-Agent Reinforcement Learning [98.07495732562654]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。 オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。 この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:11:26Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)
• Dynamic Multi-Robot Task Allocation under Uncertainty and Temporal Constraints [52.58352707495122]
  本稿では,不確実性およびマルチエージェント協調の下での逐次意思決定における重要な計算課題を分離するマルチロボット割当アルゴリズムを提案する。 都市におけるマルチアームコンベヤベルトピック・アンド・プレイスとマルチドローン配送ディスパッチの2つの異なる領域における広範囲なシミュレーション結果について検証を行った。
  論文  参考訳（メタデータ） (2020-05-27T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。