論文の概要: Retrieve, Don't Retrain: Extending Vision Language Action Models to New Tasks at Test Time

• arxiv url: http://arxiv.org/abs/2606.15631v1
• Date: Sun, 14 Jun 2026 06:48:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.763599
• Title: Retrieve, Don't Retrain: Extending Vision Language Action Models to New Tasks at Test Time
• Title（参考訳）: Retrieve, Don't Retrain: テスト時に視覚言語アクションモデルを新しいタスクに拡張する
• Abstract要約: Retrievalは、標準的なVLAポリシーを含む特定のバックボーンを超えてポリシーを改善するが、特にコスモスポリシーではその効果が顕著である。 PushTでは,クロス・エボディメントの一般化に先立って,検索が再利用可能なハイレベルな動きを未確認の目標角に対してどのように提供するか,RoboTwin 2.0ではクロス・エボディメントのベースラインを未確認のタスクで上回ります。
• 参考スコア（独自算出の注目度）: 48.339524522652276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extending a vision-language-action (VLA) policy to a new task typically requires task-specific teleoperated demonstrations and per-task fine-tuning, making adaptation costly in both data collection and compute. In this paper, we show that this target-side per-task adaptation cost can be replaced by retrieval. Our retrieval-augmented policy is trained once on paired demonstrations from the target embodiment (query) and a cheaper embodiment (pool, e.g., human-hand video), then frozen. New tasks are added at deployment by appending pool-side demonstrations to a retrieval pool. The frozen policy conditions on retrieved trajectories at every control step, so new tasks are absorbed by indexing data rather than updating parameters. Fine-tuning is needed only to take on a new, unseen embodiment, not for each new task. We show that retrieval improves policies beyond a specific backbone, including standard VLA policies, but its effect is especially pronounced in Cosmos Policy, a video-generation-based world-action model (WAM). In this setting, retrieval supplies coarse task progression, while the WAM's future-image objective provides an additional visual consistency signal that strengthens the retrieval-conditioned actions. On PushT, we study how retrieval provides a reusable high-level motion prior for cross-embodiment generalization to unseen goal angles, while on RoboTwin 2.0 our method outperforms cross-embodiment baselines on unseen tasks, and we additionally demonstrate the method on a real robot.
• Abstract（参考訳）: 視覚言語アクション(VLA)ポリシーを新しいタスクに拡張するには、通常、タスク固有の遠隔操作デモとタスク毎の微調整が必要で、データ収集と計算の両方に費用がかかる。 本稿では,この目標側/タスク適応コストを検索によって置き換えることができることを示す。 対象の実施形態(クエリ)とより安価な実施形態(プール、eg、人手ビデオ)からペアによる実演を1回トレーニングし、凍結させます。 プールサイドのデモを検索プールに追加することで、デプロイ時に新しいタスクが追加される。 各制御ステップで取得したトラジェクトリの凍結ポリシ条件は、パラメータを更新するのではなく、データをインデックス化することで、新しいタスクを吸収する。 ファインチューニングは、新しい作業ごとにではなく、目に見えない新しい実施のためにのみ必要である。 検索は標準的なVLAポリシーを含む特定のバックボーンを超えてポリシーを改善するが、特にビデオ世代ベースのワールドアクションモデル(WAM)であるコスモスポリシー(Cosmos Policy)においてその効果は顕著である。 この設定では、検索は粗いタスク進行を供給し、一方、WAMの将来のイメージ目的は、検索条件付きアクションを強化する視覚的一貫性信号を提供する。 本稿では,PushTにおいて,クロス・エボディメントの一般化に先立って,リカバリなハイレベルな動作がゴールアングルに対してどのように提供されるかを検討するとともに,RoboTwin 2.0では,クロス・エボディメントのベースラインを未確認タスクで上回り,本手法を実ロボットで実証する。

関連論文リスト

• Hierarchical Skill Retrieval for Data-Efficient Adaptation of Vision-Language-Action Models [10.94594187411586]
  Hierarchical Skill Retrieval (HSR)は、データ効率のよいVLA適応のための検索フレームワークである。 我々は、HSRが最強のベースラインに対して平均成功率を10.3%、21.3%改善することを示した。
  論文  参考訳（メタデータ） (2026-08-25T04:04:49Z)
• GHOST: Hierarchical Sub-Goal Policies for Generalizing Robot Manipulation [54.305781492241785]
  本稿では,トレーニング分布を超えて一般化したビジュモータ操作ポリシーを学習するための枠組みを提案する。 GHOSTは、(i)多視点RGB-D観測から、3Dエンドエフェクタ上の分布として次のサブゴールを予測する高レベルポリシーに制御を分解する。 一連のタスクの中で、この階層的な分解は、フラットな拡散ポリシーと比較して、パフォーマンスと堅牢性を一貫して改善します。
  論文  参考訳（メタデータ） (2026-06-08T18:08:01Z)
• Robotic Policy Adaptation via Weight-Space Meta-Learning [10.867247751424891]
  WIZARDは、凍結VLAポリシーのためのタスク固有のLoRAパラメータを生成することで、タスク固有の微調整をサイドステップする。 メタトレーニング中、WIZARDはタスクエビデンスを直接専門家のLoRAアップデートにマップすることを学ぶ。 実験の結果、WIZARDは見えないデータセットのコレクションでは最大2倍、見えないタスクでは最大14倍の性能向上を示している。
  論文  参考訳（メタデータ） (2026-06-05T12:29:28Z)
• AnyPos: Automated Task-Agnostic Actions for Bimanual Manipulation [24.199522837278128]
  本稿では,タスク固有の条件からアクション実行を分離するタスク非依存のアクションパラダイムを提案する。 ATARAはスケーラブルなセルフ教師付きフレームワークで、人間の遠隔操作と比較して30倍以上のコレクションを高速化する。 我々はArm-Decoupled EstimationとDirection-Aware Decoderを備えた逆動的モデルであるAnyPosを提案する。
  論文  参考訳（メタデータ） (2025-07-17T03:48:57Z)
• Zero-Shot Whole-Body Humanoid Control via Behavioral Foundation Models [71.34520793462069]
  教師なし強化学習(RL)は、複雑な環境下で幅広い下流タスクを解くことができる事前学習エージェントを目標としている。 本稿では,ラベルのない行動データセットからトラジェクトリを模倣するための,教師なしRLの正規化アルゴリズムを提案する。 我々は,この手法の有効性を,挑戦的なヒューマノイド制御問題において実証する。
  論文  参考訳（メタデータ） (2025-04-15T10:41:11Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Dense Video Object Captioning from Disjoint Supervision [77.47084982558101]
  本稿では,高密度ビデオオブジェクトキャプションのための新しいタスクとモデルを提案する。 このタスクは、ビデオにおける空間的および時間的局所化を統一する。 我々は、この新しいタスクの強力なベースラインにおいて、我々のモデルがどのように改善されているかを示す。
  論文  参考訳（メタデータ） (2023-06-20T17:57:23Z)
• Meta-Reinforcement Learning Based on Self-Supervised Task Representation Learning [23.45043290237396]
  MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。 MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
  論文  参考訳（メタデータ） (2023-04-29T15:46:19Z)
• TIDo: Source-free Task Incremental Learning in Non-stationary Environments [0.0]
  モデルベースのエージェントを更新して新しいターゲットタスクを学習するには、過去のトレーニングデータを格納する必要があります。 ラベル付きターゲットデータセットの制限を克服するタスクインクリメンタル学習手法はほとんどない。 本研究では,非定常的および目標的タスクに適応可能なワンショットタスクインクリメンタル学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-28T02:19:45Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。