論文の概要: What Can a VLA Learn from the Agent That Calls It? Task-Level Experience Distillation for Embodied Navigation
- arxiv url: http://arxiv.org/abs/2611.16246v1
- Date: Thu, 12 Nov 2026 03:42:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.354049
- Title: What Can a VLA Learn from the Agent That Calls It? Task-Level Experience Distillation for Embodied Navigation
- Title(参考訳): VLAは、それを呼ぶエージェントから何が学べるか? : 身体的ナビゲーションのためのタスクレベル体験蒸留
- Abstract要約: ナビゲーションエージェントは、大きな言語モデル(LLM)プランナーを使用して、視覚言語アクション(VLA)モデルを呼び出す。
我々は, プランナーを蒸留する代わりに, VLAに有効エージェント体験を蒸留する。
全3,189話で、H2Eは8B VLAの成功率を35.0%から44.9%に引き上げている。
- 参考スコア(独自算出の注目度): 3.4451430396731966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Navigation agents use a large language model (LLM) planner to call a vision-language-action (VLA) model. Each episode needs the LLM, adding cost and delay. We distill successful agent experience into the VLA instead of distilling the planner. The VLA then navigates alone at test time. Agent sessions are not VLA demonstrations. They include motions driven by planner tools and sub-instructions, along with detours. We present H2E, a task-level experience distillation method that converts these sessions into VLA training data. Every motion becomes a VLA action under the original task instruction, with the resulting poses as targets. H2E masks the loss on steps that move away from the goal. It labels every visited state within 1 m of the goal as a stop. We then update the VLA with low-rank adaptation. The VLA learns to stop at the goal and find goals the base model never reaches. On all 3,189 REVERIE-CE val-unseen episodes, H2E raises the success rate of an 8B VLA from 35.0% to 44.9%.
- Abstract(参考訳): ナビゲーションエージェントは、大きな言語モデル(LLM)プランナーを使用して、視覚言語アクション(VLA)モデルを呼び出す。
各エピソードはLLMを必要とし、コストと遅延を増す。
我々は, プランナーを蒸留する代わりに, VLAに有効エージェント体験を蒸留する。
VLAはテスト時に単独でナビゲートする。
エージェントセッションはVLAのデモではありません。
それらは、プランナーツールとサブインストラクションによって駆動される動きと、デトゥールを含む。
本稿では,これらのセッションをVLAトレーニングデータに変換するタスクレベルの経験蒸留法であるH2Eを提案する。
すべての動きは、元のタスク命令の下でVLAアクションとなり、その結果のポーズがターゲットとなる。
H2Eはゴールから離れるステップで損失を隠蔽する。
ゴールの1m以内の全ての訪問国を停留所として指定する。
次に、低ランク適応でVLAを更新する。
VLAは、目標に立ち止まって、ベースモデルが到達しない目標を見つけることを学びます。
全3,189話で、H2Eは8B VLAの成功率を35.0%から44.9%に引き上げている。
関連論文リスト
- RoboDuo: Attempt, Check and Atomic Recovery through Code for Vision-Language-Action Models [15.015989343922213]
VLA(Vision-Language-Action)モデルは、命令が完了したかどうかを確認することなく、言語命令と現在の観察を直接アクションにマッピングする。
コーディングエージェントと2つのVLA間のインタフェースとしてコードを使用する,クローズドループデュアルシステムフレームワークであるRoboDuoを提案する。
論文 参考訳(メタデータ) (2026-10-25T07:08:25Z) - SkipVLA: Skipping VLA Steps with Classical Planning for Fast Robot Manipulation [23.852244913181355]
Vision-Language-Action (VLA) は、カメライメージと言語指示を直接ロボットアクションにマッピングする。
最近の取り組みは、小さなモデルを蒸留したり、アクションチャンクを重複させたり、VLAを高速な低レベルポリシーでペアリングすることで、VLAのレイテンシを低減するが、それでもタスク全体について学習したポリシーを実行している。
我々は,事前訓練されたVLAと古典的な運動プランナを組み合わせたハイブリッドポリシであるSkipVLAを提案する。
論文 参考訳(メタデータ) (2026-09-17T16:28:31Z) - Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations [53.931465193216155]
我々は、HSL(Hindsight Supervised Learning)を導入し、補助的なLLMが各完了軌跡をレビューし、エージェントが実際に達成したすべての自然言語目標をラベル付けする。
HSLは軌道をその延長された目標と組み合わせ、これらのペアを追加の微調整に使用する。
実験の結果,HSLは既存のポストトレーニングパイプラインと柔軟で互換性があることがわかった。
論文 参考訳(メタデータ) (2026-07-05T11:21:26Z) - Look Before You Leap: Distilling Tree Search into Action Evaluation for Frozen VLA Models [60.17417174639865]
VLA(Vision-Language-Action)モデルは、大規模な事前訓練を通じて幅広い身体的能力を取得する。
一般的な治療法であるポストトレーニングは、タスク固有のパフォーマンスを改善するが、事前トレーニングに価値をもたらすジェネラリスト能力は制限される。
SVAは凍結したVLAポリシーを長期的結果の認識と組み合わせたフレームワークである。
論文 参考訳(メタデータ) (2026-07-04T07:53:10Z) - LA4VLA: Learning to Act without Seeing via Language-Action Pretraining [51.209359878543005]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を共同で行動にマッピングすることで、ロボットのデモンストレーションで一般的に事前訓練される。
LA4VLAは、視覚的観察なしに、ポリシーが言語条件付きアクションの事前取得を可能にする、言語行動事前訓練フレームワークである。
論文 参考訳(メタデータ) (2026-06-25T17:13:02Z) - Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models [42.38903028184938]
本稿では, VLM の知識ベンチマークを VLA 評価に適用するプロトコルである Act2Answer を紹介する。
各質問は、エージェントが候補回答の中から選択するための1つのオブジェクト配置アクションを実行する短いテーブルトップエピソードとなり、制御ミスの少ないアクショングラウンドの成功率が得られる。
7つのVLAモデルと9つのVLMベースラインの大規模研究において、VLAがよりリッチなセマンティックカテゴリに対してより大きなギャップを示しながら、単純な概念に対して確固たる性能を示すことを発見した。
論文 参考訳(メタデータ) (2026-06-17T17:20:46Z) - Robotic VLA Benefits from Joint Learning with Motion Image Diffusion [114.60268819583017]
VLA(Vision-Language-Action)モデルは、マルチモーダルな観察と指示を直接行動にマッピングすることで、ロボット操作において顕著な進歩を遂げた。
動き推論機能を備えたVLAモデルを強化する新しい戦略である動き画像拡散を用いた共同学習を提案する。
シミュレーションと実世界の両方の環境での実験により、モーション画像拡散による共同学習がpiシリーズVLAの成功率を97.5%に向上させることが示された。
論文 参考訳(メタデータ) (2025-12-19T19:07:53Z) - VLA-0: Building State-of-the-Art VLAs with Zero Modification [8.916252953026888]
VLA(Vision-Language-Action Model)は、汎用的なロボット操作を可能にするための大きな約束を持っている。
この研究はVLA-0を導入し、アクションを直接テキストとして表現する最も単純な戦略を解明する。
VLA-0は有効であるだけでなく、驚くほど強力である。
論文 参考訳(メタデータ) (2025-10-15T00:31:10Z) - VITA-VLA: Efficiently Teaching Vision-Language Models to Act via Action Expert Distillation [76.13140980997508]
VLA(Vision-Language Action)モデルは、事前訓練された視覚言語モデル(VLM)の強い知覚能力を活用することにより、ロボット操作を著しく向上させる。
本稿では,VLMに事前訓練された小規模な行動モデルから知識を伝達することで,動作実行能力を持たせる,簡易かつ効果的な蒸留ベースフレームワークを提案する。
5つの操作課題にわたる実世界の実験において,本手法は教師モデルより一貫して優れ,82.0%の成功率(17%改善)を達成した。
論文 参考訳(メタデータ) (2025-10-10T17:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。