論文の概要: From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation
- arxiv url: http://arxiv.org/abs/2610.29560v1
- Date: Wed, 21 Oct 2026 10:49:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.317079
- Title: From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation
- Title（参考訳）: VLMプランナからロボットエージェントへ:歴史依存マニピュレーションのための自己進化的ハーネス
- Abstract要約: 長距離タスクはマルコフに依存しない。
低レベルの実行から高レベルの計画を切り離す階層アーキテクチャを導入します。
本稿では,SERA(Self-Evolving Robotic Agent)として,VLAエグゼキュータを固定した手法を提案する。
- 参考スコア（独自算出の注目度）: 90.66992093913662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) models achieve strong performance across embodied manipulation tasks by unifying visual understanding, language conditioning, and action generation. However, long-horizon tasks can involve non-Markovian dependencies: successful decisions may require retaining task progress and past interaction outcomes, while partial observability and execution errors compound over time. Existing work has begun to address these challenges by augmenting foundation-model policies with memory and by introducing hierarchical architectures that separate high-level planning from low-level execution. We organize the high-level VLM as a robotic agent through an editable harness to maintain task context and improve planning through execution experience. We instantiate this approach as SERA (Self-Evolving Robotic Agent), with a fixed VLA executor providing low-level control. The harness maintains and updates task context using observations and execution feedback to guide subsequent planning. Self-evolution uses environment rollouts to propose and evaluate harness revisions, with the selected configuration fixed before held-out testing. On RoboMME, SERA achieves 51.38% overall success with autonomous selection, compared with 44.38% without self-evolution. Our exploration suggests that agentic planning is a promising direction for history-dependent robotic manipulation.
- Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、視覚的理解、言語条件付け、アクション生成を統一することにより、具体化された操作タスク間で強力なパフォーマンスを達成する。
しかし、長期のタスクは非マルコフ的な依存関係を伴うことがある: 成功した決定はタスクの進捗と過去の相互作用の結果を保持する必要があるが、部分的な可観測性と実行エラーは時間の経過とともに複雑になる。
既存の作業は、メモリによるファンデーションモデルポリシーの強化と、低レベルの実行から高レベルのプランニングを分離する階層アーキテクチャの導入によって、これらの課題に対処し始めています。
ロボットエージェントとして高レベルなVLMを編集可能なハーネスで構成し、タスクコンテキストを維持し、実行経験を通して計画を改善する。
このアプローチをSERA(Self-Evolving Robotic Agent)として,低レベル制御を実現する固定VLAエグゼキュータを用いてインスタンス化する。
ハーネスは、観察と実行フィードバックを使用してタスクコンテキストのメンテナンスと更新を行い、その後の計画のガイドを行う。
自己進化(Self-evolution)は、環境のロールアウトを使用して、設定した設定をホールドアウトテスト前に固定し、リビジョンの提案と評価を行う。
RoboMMEでは、SERAは51.38%を自律選択で達成し、44.38%を自己進化なしで達成している。
我々の調査は、エージェント計画が歴史に依存したロボット操作にとって有望な方向であることを示唆している。
関連論文リスト
- EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents [56.25120535601186]
視覚言語アクション(VLA)モデルは、視覚観察と言語指示を直接ロボットアクションにマッピングする。
本稿では,各スキル決定を実行提案として扱うフレームワークであるEmbodiedSkillsを提案する。
共有可能スキルインタフェースは、ハイレベルスキル選択、バウンドローレベルVLA実行、ポストアクション検証を接続する。
論文 参考訳（メタデータ） (2026-09-01T14:14:47Z) - HarnessWAM: Bridging Prediction and Deliberation in World Action Models [39.20825071922887]
World Action Models (WAM) は、環境力学とロボットの動作を共同で学習し、身体的制御に物理的進化の先行を取り入れている。
本稿では,WAMの予測・検討ギャップに対処するため,WAMのエージェントフレームワークであるHarnessWAMを提案する。
我々は、HarnessWAMがRoboMemArenaで59.6%、69.9%、RoboCerebra Idealで23.7%、最先端のフルタスクとサブタスクの成功率を達成したことを示す。
論文 参考訳（メタデータ） (2026-08-10T12:15:59Z) - Planner Matters! An Efficient and Unbalanced Multi-agent Collaboration Framework for Long-horizon Planning [32.56971325545821]
言語モデル(LM)ベースのエージェントは、自然言語命令から複雑なタスクを自動化する有望な能力を実証している。
本稿では,高度意思決定のためのプランナ,タスク実行のためのアクタ,コンテキスト推論のためのメモリマネージャという,自動化を3つの役割に分解する拡張マルチエージェントフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-04T02:58:05Z) - RoboAgent: Chaining Basic Capabilities for Embodied Task Planning [46.248451288196435]
本稿では,エージェントが環境から視覚的観察を取得し,与えられたタスクを達成するためのアトミックアクションを実行する,具体的タスク計画に焦点を当てる。
本稿では,機能駆動型計画パイプラインであるRoboAgentを提案する。
我々は,(1)専門家プランによる行動クローニング,(2)モデルで収集した軌跡を用いたDAggerトレーニング,(3)専門家ポリシーによる強化学習からなる多段階的パラダイムを用いている。
論文 参考訳（メタデータ） (2026-04-09T04:01:27Z) - See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
本稿では,See, Plan, Rewind (SPR)について紹介する。
SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。
SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
論文 参考訳（メタデータ） (2026-03-10T07:22:51Z) - Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
本稿では, 自己補正VLA (SC-VLA) を提案する。
SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
論文 参考訳（メタデータ） (2026-02-25T06:58:06Z) - MaP-AVR: A Meta-Action Planner for Agents Leveraging Vision Language Models and Retrieval-Augmented Generation [18.84633713315585]
複雑な日々のタスクを管理するように設計されたロボットAIシステムは、ハイレベルなタスクを理解し分解するためのタスクプランナーに依存している。
本稿は、計画されたスキルセットを定義することが同様に重要である、と論じる。
日々の環境の複雑さに対処するためには、スキルセットは高度な一般化能力を持つべきである。
論文 参考訳（メタデータ） (2025-12-22T14:58:52Z) - Learning Affordances at Inference-Time for Vision-Language-Action Models [50.93181349331096]
ロボット工学において、VLA(Vision-Language-Action Model)は複雑な制御タスクを解くための有望な道を提供する。
本稿では,VLAの低レベルポリシーを過去の経験を条件とした高レベルVLMに接続するLITEN(Learning from Inference-Time Execution)を紹介する。
提案手法は,低レベルVLAの計画の生成と実行を行う推論フェーズと,その結果を反映した評価フェーズとを反復する。
論文 参考訳（メタデータ） (2025-10-22T16:43:29Z) - REMAC: Self-Reflective and Self-Evolving Multi-Agent Collaboration for Long-Horizon Robot Manipulation [57.628771707989166]
本稿では,ReMACと呼ばれる適応型マルチエージェント計画フレームワークを提案する。
ReMACには2つの重要なモジュールが組み込まれており、ループ内で事前条件と後条件チェックを実行し、進捗と計画の洗練を評価する。
論文 参考訳（メタデータ） (2025-03-28T03:51:40Z) - Embodied Long Horizon Manipulation with Closed-loop Code Generation and Incremental Few-shot Adaptation [12.077740860502878]
身体的ロングホライゾン操作では、ロボットシステムが視覚や自然言語などのマルチモーダル入力を処理し、それらを実行可能なアクションに変換する必要がある。
近年,大規模言語モデル (LLM) を自然言語を用いてタスクをサブタスクに分解し,事前訓練した低レベルコントローラを誘導する高レベルプランナとしての利用が検討されている。
我々のフレームワークは,LoHoRavens,CALVIN,Franka Kitchen,および乱雑な現実世界設定をまたいだ,30以上の多様かつ不明瞭なロングホライゾンタスクに対して,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-03-27T20:32:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。