論文の概要: ESI: An Embodied Self-Improvement Flywheel for LLM-VLA Agents
- arxiv url: http://arxiv.org/abs/2611.18176v1
- Date: Fri, 13 Nov 2026 13:44:42 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:28:58.72349
- Title: ESI: An Embodied Self-Improvement Flywheel for LLM-VLA Agents
- Title(参考訳): ESI: LLM-VLA エージェント用自己改善型フライホイール
- Abstract要約: 環境相互作用を利用して推論と行動を調整する自動フライホイール(Embodied Self-Improvement)を導入する。
10個の選択されたRoboDojoタスクにおいて、平均スコアは62.03、平均成功率は49.41%で、タスク固有の制御コードを生成することなくLLM-VLAエージェントを使用する。
- 参考スコア(独自算出の注目度): 48.67016486483961
- License:
- Abstract: Independently pretrained language models and vision-language-action (VLA) policies provide complementary building blocks for embodied agents, but connecting them does not automatically produce coordinated behavior. The VLA may generate actions that diverge from the LLM's intended subtask and, upon regaining control after a correction, undo the promising state restored by the LLM. We introduce ESI (Embodied Self-Improvement), an automated flywheel that uses environmental interaction to align reasoning and action. ESI treats the modular agent as the unit of post-training, repeatedly refining the prompts that guide the LLM, the shared skill interface that expresses its intent, and the VLA parameters that realize that intent, then redeploying these components together. Our key insight is that collaboration itself can supply supervision for improving this interface. The LLM's subtask decisions provide semantic supervision for what the policy should execute, while its effective corrections and subsequent student continuations provide action-level supervision for recovery and handoff. The student also learns from its own effective execution, allowing locally useful experience to contribute even when the overall episode fails. On ten selected RoboDojo tasks, ESI achieves a mean Score of 62.03 and a mean success rate of 49.41% using an LLM-VLA agent without generating task-specific control code. On both metrics, it outperforms the published reference results of all hybrid embodied agents, including the Agent+WAM system GO-3 Nano Preview (47.27 Score and 36.60% success), as well as all compared code-based methods.
- Abstract(参考訳): 独立に事前訓練された言語モデルと視覚-言語-アクション(VLA)ポリシーは、エンボディエージェントのための補完的なビルディングブロックを提供するが、それらを接続すると自動的に協調動作が生成されない。
VLAは、LLMの意図するサブタスクから分岐するアクションを生成し、修正後に制御を取り戻すと、LLMによって復元された有望な状態を解除する。
ESI(Embodied Self-Improvement)は、環境相互作用を利用して推論と行動を調整する自動フライホイールである。
ESIは、モジュールエージェントをポストトレーニングの単位として扱い、LLMを導くプロンプト、その意図を表現した共有スキルインターフェース、そしてその意図を実現するVLAパラメータを繰り返し修正し、これらのコンポーネントを再デプロイする。
私たちの重要な洞察は、コラボレーション自体が、このインターフェースを改善するための監視を提供することができるということです。
LLMのサブタスク決定は、ポリシーが実行すべきことのセマンティックな監督を提供する一方で、効果的な修正とその後の学生の継続は、回復と引き渡しのためのアクションレベルの監督を提供する。
また、生徒は自身の効果的な実行から学び、ローカルで有用な体験を、全体的なエピソードが失敗しても貢献できる。
10個の選択されたRoboDojoタスクにおいて、ESIは平均スコア62.03、平均成功率は49.41%で、タスク固有の制御コードを生成することなくLLM-VLAエージェントを使用する。
どちらの指標でも、Agent+WAMシステムGO-3 Nano Preview(47.27スコア、36.60%成功)を含む全てのハイブリッドエンボディエージェントの参照結果よりも優れており、コードベースの手法と比較されている。
関連論文リスト
- Agentic-Teacher: An Agentic Data Engine for Failure-Driven VLA Post-Training [36.445951809053554]
Agentic-Teacherは、障害駆動型VLAポストトレーニングのための自動データエンジンである。
これらのデモンストレーションを学習に適させるため、エージェント教師は時間的に相関したアクションノイズを導入する。
論文 参考訳(メタデータ) (2026-11-12T15:43:14Z) - DIAL: Steerable Language Models with Distilled Instruction-Adherence Levels [79.15943142158518]
本研究では,テキストで指定された一般的な命令に従う程度を詳細に数値的に制御する「ステアブル言語モデル」について検討する。
既存のアプローチは、様々な命令にわたってきめ細かな制御、効率、スケーラビリティを共同で提供するものではない。
DIAL(Distilled Instruction-Adherence Levels)を導入し、3つの特性をすべて実現した。
論文 参考訳(メタデータ) (2026-10-22T15:34:39Z) - JoyInside-VLM-Agent: Product-Conditioned Multimodal Policy Learning for Embodied Agents [18.28037891364436]
JoyInside-VLM-Agent(ジョイインサイド-VLM-Agent)は、製品条件付き軌道構築と段階的政策学習によって開発されたReActスタイルのマルチモーダルエージェントである。
DPERによる強化学習に先立って, 微調整と多教師のオンライン蒸留を指導した。
DPERは、凍結された特権教師とロールアウトポリシーのパラメータを共有する特権学生の間にトークンレベルの証拠をルーティングする。
JoyInside-VLM-Agent は BFCL v4 の総合スコア 77.44 を達成し、評価ベースラインを超えた。
論文 参考訳(メタデータ) (2026-10-09T03:54:58Z) - Symbolic Temporal Supervision of LLM Agents Using Contracts [1.7188280334580195]
本稿では,大規模言語モデル(LLM)エージェントのシンボリック時間監視のための契約ベースのフレームワークであるContrAgentを紹介する。
ContrAgentは、エージェントの振舞いを一連のツールコールとして捉え、それを固定されたチェック可能な述語セット上のトレースとしてフォーマル化する。
その後、有限トレース上の線形時間論理における仮定保証契約(sum-guarantee contract)を用いて必要な振る舞いを特定する。
論文 参考訳(メタデータ) (2026-09-16T05:05:35Z) - A Self-Improving Coding Agent [23.44829720834145]
LLM(Large Language Models)は、LLMエージェントを世界に向けて展開することへの関心を喚起している。
本稿では,基本的なコーディングツールを備えたエージェントシステムが,自らを自律的に編集し,ベンチマークタスクの性能を向上させることを実証する。
論文 参考訳(メタデータ) (2025-04-21T16:58:18Z) - Assessing the Zero-Shot Capabilities of LLMs for Action Evaluation in RL [14.091146805312636]
信用割当問題は強化学習(RL)における中心的な課題である
クレジット・アサインメント・ウィズ・ランゲージ・モデル(CALM)は、報酬形成とオプション発見を通じてクレジット・アサインメントを自動化する新しいアプローチである。
予備的な結果は、大規模言語モデルの知識が、RLにおける信用代入の有望な先行であることを示している。
論文 参考訳(メタデータ) (2024-09-19T14:08:09Z) - Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。
Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
論文 参考訳(メタデータ) (2024-05-23T08:33:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。