論文の概要: When Does Retrieval Help? A Study of In-Context Adaptation in Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2610.05492v1
- Date: Sun, 04 Oct 2026 20:01:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 13:25:11.970256
- Title: When Does Retrieval Help? A Study of In-Context Adaptation in Vision-Language-Action Models
- Title(参考訳): 検索はいつ役に立つか : 視覚・言語・行動モデルにおける文脈適応の検討
- Abstract要約: 視覚言語アクション(VLA)モデルは、ジェネラリストロボットポリシーとして強い可能性を示している。
RICLのような最近の研究は、現在のVLA観測に基づいて専門家によるデモンストレーションを検索することで、文脈内適応性を導入している。
本研究では,検索手法の違いが,RICLフレームワーク内の検索品質とタスク性能に与える影響について検討する。
- 参考スコア(独自算出の注目度): 5.7579997337758035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models have shown strong potential as generalist robot policies, but adapting them to unseen tasks often requires costly parameter updates. Recent work such as RICL introduces in-context adaptability by retrieving expert demonstrations based on the current VLA observation and providing them as additional context at test time. The effectiveness of this adaptation therefore depends critically on the retrieval mechanism. In this work, we systematically study how different retrieval methods affect both retrieval quality and task performance within the RICL framework. Specifically, we compare four different methods: image-based retrieval, retrieval augmented with VLA's state, retrieval using features from the VLA backbone, and random retrieval. Our experiments yield three main findings. First, no retrieval method consistently dominates the others in task success, while surprisingly, random retrieval achieves a non-trivial success rate. Second, standard retrieval-quality diagnostics do not reliably reflect downstream VLA performance. Third, demonstrations from different but related tasks can provide useful transferable information. Together, these results provide an initial step toward understanding how retrieval mechanisms shape the in-context learning capability of VLA models and their downstream task performance, while highlighting the need for more careful design and evaluation of retrieval mechanisms for reliable test-time adaptation.
- Abstract(参考訳): 視覚言語アクション(VLA)モデルは、一般的なロボットポリシーとして強い可能性を示しているが、見知らぬタスクに適応するためには、しばしば高価なパラメーター更新が必要である。
RICLのような最近の研究は、現在のVLA観測に基づいて専門家によるデモンストレーションを検索し、テスト時に追加のコンテキストとして提供することによって、コンテキスト内適応性を導入している。
したがって、この適応の有効性は検索機構に大きく依存する。
本研究では,異なる検索手法がRICLフレームワーク内の検索品質とタスク性能にどのように影響するかを系統的に検討する。
具体的には,画像ベース検索,VLAの状態を付加した検索,VLAバックボーンの機能を用いた検索,ランダム検索の4つの方法を比較する。
私たちの実験は3つの主な発見をもたらす。
まず、タスク成功において他のタスクを常に支配する検索手法は存在しないが、意外なことにランダム検索は非自明な成功率を達成する。
第二に、標準的な検索品質診断は下流VLAの性能を確実に反映しない。
第三に、異なるが関連するタスクからのデモは、有用な伝達可能な情報を提供することができる。
これらの結果は,検索機構がVLAモデルのコンテキスト内学習能力と下流タスク性能をどのように形成するかを理解するための最初のステップを提供するとともに,信頼性の高いテスト時間適応のための検索機構の設計と評価の必要性を強調した。
関連論文リスト
- Hierarchical Skill Retrieval for Data-Efficient Adaptation of Vision-Language-Action Models [10.94594187411586]
Hierarchical Skill Retrieval (HSR)は、データ効率のよいVLA適応のための検索フレームワークである。
我々は、HSRが最強のベースラインに対して平均成功率を10.3%、21.3%改善することを示した。
論文 参考訳(メタデータ) (2026-08-25T04:04:49Z) - Adaptive Retrieval helps Reasoning in LLMs -- but mostly if it's not used [19.370220750406755]
大規模言語モデル(LLM)は静的なパラメトリックな知識のため、複雑な推論タスクでしばしば失敗する。
この研究は、生成モデルを強化するための基本原理を探求し、動的文脈内学習の一形態として検索を扱います。
論文 参考訳(メタデータ) (2026-02-06T21:48:26Z) - Learning Task Representations from In-Context Learning [67.66042137487287]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。
ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。
提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
論文 参考訳(メタデータ) (2025-02-08T00:16:44Z) - VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。
VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
論文 参考訳(メタデータ) (2024-09-18T16:10:47Z) - Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。
提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
論文 参考訳(メタデータ) (2024-06-04T12:43:23Z) - Understanding Retrieval-Augmented Task Adaptation for Vision-Language Models [29.75562085178755]
本研究は,検索強化適応におけるキーコンポーネントの役割を理解するための体系的な研究である。
単モーダルおよびクロスモーダル検索に関する新たな知見を明らかにし,ロジットアンサンブルの有効適応における重要な役割を強調した。
論文 参考訳(メタデータ) (2024-05-02T16:59:05Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳(メタデータ) (2024-04-23T11:45:32Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳(メタデータ) (2022-11-15T18:57:46Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳(メタデータ) (2022-09-30T19:12:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。