論文の概要: DeicticVLA: Unifying Instruction Modes Based on Language and Deictic Gestures in a Single VLA

• arxiv url: http://arxiv.org/abs/2608.28108v1
• Date: Fri, 28 Aug 2026 09:14:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.261766
• Title: DeicticVLA: Unifying Instruction Modes Based on Language and Deictic Gestures in a Single VLA
• Title（参考訳）: DeicticVLA:単一VLAにおける言語とDeicticジェスチャーに基づくインストラクションモードの統合
• Abstract要約: Vision-Language-Action Model (VLA) では、自然言語で操作タスクを指定することができる。 本稿では,言語指導(LI),視覚言語指導(VLI),視覚指導(VI)をテキストプロンプトとディスティックマスクに標準化するDeicticVLAを提案する。
• 参考スコア（独自算出の注目度）: 0.5479797073162601
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action models (VLAs) allow users to specify manipulation tasks in natural language, but distinguishing a target or placement goal among objects of the same category or similar appearance requires detailed expressions that VLAs may not use reliably. We propose DeicticVLA, which canonicalizes Language Instruction (LI), Vision-Language Instruction (VLI), and Visual Instruction (VI) into a text prompt and deictic masks through text-prompt completion and deictic gesture grounding, enabling a single pretrained VLA to handle all three instruction modes. With a shared backbone, demonstrations, and matched training steps, we compare two RGB visual prompting methods, two separate-channel mask prompting methods, and three training strategies in simulation. Under two-stage training, the four prompting methods achieve high in-distribution success but differ in their ability to use deictic masks in unseen layouts. Across methods, training-strategy ablations show that two-stage training improves such use, while retaining second-stage LI data mitigates forgetting without reducing VLI and VI performance. In three real-world tasks, one policy supports all modes. VLI and VI outperform LI under unseen expressions, appearance changes, and novel objects. For unseen categories, both achieve 100% success, compared with 16.7% for jointly trained LI. These results demonstrate the unified three-mode interface and guide DeicticVLA design.
• Abstract（参考訳）: VLA(Vision-Language-Action Model)では、自然言語で操作タスクを指定できるが、ターゲットや配置目標を同一カテゴリのオブジェクトや類似の外観と区別するには、VLAが確実に使用できない詳細な表現が必要である。 本稿では,言語指導(LI),視覚言語指導(VLI),視覚指導(VI)をテキストプロンプトとディスティックマスクに標準化するDeicticVLAを提案する。 共有バックボーン,デモ,一致したトレーニングステップを用いて,2つのRGB視覚刺激法,2つの分離チャネルマスク刺激法,シミュレーションにおける3つのトレーニング戦略を比較した。 2段階の訓練では、これら4つのプロンプトは高い分配性を達成するが、目に見えないレイアウトでデシックマスクを使用する能力が異なる。 また,2段階のLIデータを維持することで,VLIやVIの性能を低下させることなく,忘れを軽減できることを示す。 現実世界の3つのタスクでは、1つのポリシーがすべてのモードをサポートする。 VLIとVIは、未知の表現、外観変化、新規な対象においてLIより優れる。 目立たないカテゴリーでは、どちらも100%成功し、16.7%が共同で訓練されたLIである。 これらの結果は統合された3モードインタフェースとDeicticVLA設計のガイドである。

関連論文リスト

• Bring My Cup! Personalizing Vision-Language-Action Models with Visual Attentive Prompting [15.173629384871013]
  Visual Attentive Prompting (VAP) は、凍結したビジョン・ランゲージ・アクションモデルに選択的注意を払って装備する、トレーニング不要の知覚アダプタである。 VAPは、成功率と正しいオブジェクト操作の両方において、一般的なポリシーとトークン学習ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-12-23T03:13:39Z)
• T2T-VICL: Unlocking the Boundaries of Cross-Task Visual In-Context Learning via Implicit Text-Driven VLMs [15.649508617993538]
  大規模言語モデル (LLM) では、インコンテキスト学習 (ICL) は入力コンテキストで提供される小さなデモを条件付けして新しいタスクを実行する。 ビジュアル・イン・コンテクスト・ラーニング(VICL)の最近の進歩は、統合視覚言語モデル(VLM)による下流タスクの解決に期待できる能力を示している。
  論文  参考訳（メタデータ） (2025-11-20T07:02:06Z)
• VILA: On Pre-training for Visual Language Models [74.08039416548209]
  ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。 私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
  論文  参考訳（メタデータ） (2023-12-12T18:58:18Z)
• CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model [55.321010757641524]
  CLIP4STRは,CLIPのイメージエンコーダとテキストエンコーダ上に構築された,シンプルで効果的なSTRメソッドである。 モデルサイズ、事前トレーニングデータ、トレーニングデータの観点からCLIP4STRをスケールし、13のSTRベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-05-23T12:51:20Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• GLIPv2: Unifying Localization and Vision-Language Understanding [161.1770269829139]
  本稿では,ローカライズタスクとビジョンランゲージ(VL)理解タスクの両方を提供する,基底VL理解モデルGLIPv2を提案する。 GLIPv2は、ローカライゼーション事前トレーニングとビジョン言語事前トレーニングを3つの事前トレーニングタスクで統合する。 一つのGLIPv2モデルが,様々なローカライゼーションおよび理解タスクにおいて,SoTAに近い性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-06-12T20:31:28Z)
• VL-BEiT: Generative Vision-Language Pretraining [107.25298505511184]
  生成前訓練により学習した双方向多モード変換器であるVL-BEiTを提案する。 具体的には、画像テキスト対におけるマスク付き視覚言語モデリング、テキスト上でのマスク付き言語モデリング、画像上でのマスク付き画像モデリングを行う。
  論文  参考訳（メタデータ） (2022-06-02T16:14:19Z)
• Large-Scale Adversarial Training for Vision-and-Language Representation Learning [81.76089876263175]
  VILLAは視覚と言語(V+L)表現学習のための大規模対人訓練における最初の試みである。 VILLAは2つの訓練段階から構成される: (i) タスクに依存しない対人事前訓練、および (ii) タスク固有の対人微調整である。
  論文  参考訳（メタデータ） (2020-06-11T05:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。