論文の概要: In-Context VLA: Endowing Vision-Language-Action Models with Language via In-Context Post-Training and Agentic Tool Use

• arxiv url: http://arxiv.org/abs/2608.05738v1
• Date: Thu, 06 Aug 2026 08:21:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.728964
• Title: In-Context VLA: Endowing Vision-Language-Action Models with Language via In-Context Post-Training and Agentic Tool Use
• Title（参考訳）: In-Context VLA: In-Context Post-Trainingとエージェントツールを用いた言語による視覚・言語・行動モデル
• Abstract要約: Vision-Language-Actionモデルは、静的イメージと固定命令で条件付けられた専門家のアクションチャンクを模倣する。 textbfourmethodは,言語能力を備えたVLAを実現するフレームワークである。 提案手法は,CoTをベースとした手法と比較して,性能と効率の両面において一貫したSOTA結果が得られる。
• 参考スコア（独自算出の注目度）: 18.507118969955666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action (VLA) models have become the dominant recipe for generalist manipulation, yet they are almost universally trained by behavior cloning: a policy imitates expert action chunks conditioned on a static image and a fixed instruction. A natural remedy is to inject explicit reasoning through textual chain-of-thought (CoT). We show, both empirically and analytically, that free-form textual CoT degrades low-level control: the reasoning it produces is ungrounded, its latency breaks closed-loop timing, and, crucially, the reasoning and action tokens are optimized against conflicting objectives so that the policy learns to narrate rather than to act. We argue that what a VLA needs is not the ability to generate language, but the ability to consume grounded language. To this end we introduce \textbf{\ourmethod{}}, a framework that endows a VLA with language competence through (i) in-context post-training, in which perceptual evidence is injected as structured context and the model is supervised only on actions, and (ii) an agentic tool-use interface, in which the policy queries open-vocabulary detectors, monocular depth, and a vision--language model to actively acquire task-relevant information. Rather than emitting a single templated caption, our data engine produces diverse, paraphrased, and evidence-conditioned spatial descriptions, so that the policy learns to interpret language it has never seen verbatim. Across the RoboCasa-GR1, SimplerEnv, and LIBERO simulation benchmarks, together with 8 real-world robot manipulation tasks, our method consistently achieves SOTA results in both performance and efficiency when compared with CoT-based approaches under matched configurations.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルがジェネラリスト操作の主要なレシピとなっているが、行動クローニングによってほとんど普遍的に訓練されている。 自然な治療法は、テキスト・チェーン・オブ・シント(CoT)を通して明示的な推論を注入することである。 実験的にも分析的にも、自由形式のテキストCoTは低レベル制御を低下させ、その原因は未定であり、レイテンシはクローズドループのタイミングを破り、重要なことに、推論とアクショントークンは競合する目標に対して最適化され、ポリシーが行動するよりもナレーションを学ぶことができる。 VLAが必要とするものは、言語を生成する能力ではなく、接地された言語を消費する能力である、と私たちは主張する。 この目的のために、言語能力を備えたVLAを提供するフレームワークである‘textbf{\ourmethod{}}を紹介します。 i) 知覚的証拠を構造化された文脈として注入し、モデルが行動にのみ監督され、かつ 二 政策がオープン語彙検出器、単眼深度を問うエージェントツール使用インタフェース及びタスク関連情報を積極的に取得するための視覚言語モデル。 一つのテンプレートキャプションを出力する代わりに、我々のデータエンジンは多様で言い換えられ、エビデンスに条件付けられた空間記述を生成する。 RoboCasa-GR1, SimplerEnv, LIBEROのシミュレーションベンチマークと8つの実世界のロボット操作タスクを併用して, 提案手法は一致した構成下でのCoTベースのアプローチと比較して, 常にSOTAの結果と効率の両立を実現している。

関連論文リスト

• Dynamic Parsing and Updating Natural Language Specification using VLMs for Robust Vision-Language Tracking [61.91472604294714]
  トラッキング主成分を抽出する新しい言語依存解析機構を提案する。 我々は、事前学習された視覚言語モデルQwen-VLの強力なクロスモーダル理解能力を利用する。 本手法は,複数の大規模視覚言語追跡ベンチマークにおいて,一貫した,より優れたトラッキング性能を実現する。
  論文  参考訳（メタデータ） (2026-06-28T12:12:18Z)
• Grounding Hierarchical Vision-Language-Action Models Through Explicit Language-Action Alignment [4.001668956134368]
  透明にするためには、ロボットの自然言語通信はその動作と一致しなければならない。 既存の階層型ビジョン・ランゲージ・アクション(VLA)モデルは、チェーン・オブ・ソートと低レベルのアクションを通じて言語を生成することができる。 本稿では,視覚的観察と行動空間に関して,階層的なVLAサブタスク記述を基盤とした新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-07T09:03:12Z)
• LangForce: Bayesian Decomposition of Vision Language Action Models via Latent Action Queries [30.732526921367835]
  LangForceは、ベイズ分解による命令を強制する新しいフレームワークである。 我々は,新しいデータを必要としないLangForceの一般化を著しく改善することを示す。
  論文  参考訳（メタデータ） (2026-01-21T17:15:22Z)
• Language-Guided Grasp Detection with Coarse-to-Fine Learning for Robotic Manipulation [31.386822229629455]
  本稿では,ロボット操作のための粗粒度学習パラダイムを用いた言語誘導グラフ検出(LGGD)を提案する。 この設計により、きめ細かいビジュアル・セマンティックなアライメントが可能となり、タスク命令に対する予測された把握の実現性が改善される。 OCID-VLGとGrasp-Anything++データセットの実験は、LGGDが既存の言語誘導の把握方法を上回ることを示している。
  論文  参考訳（メタデータ） (2025-12-24T09:16:42Z)
• Seeing to Act, Prompting to Specify: A Bayesian Factorization of Vision Language Action Policy [59.44168425139687]
  BayesVLA(ベイズVLA)は、前もってポリシーを視覚的アクションに分解し、ルック・トゥ・アクティベーションと言語条件付き可能性をサポートし、即時特定を可能にするベイズ因子化である。 実験は、既存の方法と比較して、目に見えない命令、オブジェクト、環境に対して優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-12-12T01:59:23Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• Context-Aware Language Modeling for Goal-Oriented Dialogue Systems [84.65707332816353]
  我々は、部分的に観察されたマルコフ決定過程としてゴール指向対話を定式化する。 目的を意識して言語モデルを微調整する,シンプルで効果的な手法を考案する。 本研究では,AirDialogue を用いた実践的なフライト予約タスクについて評価する。
  論文  参考訳（メタデータ） (2022-04-18T17:23:11Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。