論文の概要: YUBI-STAG: Contact and Semantic-Rich Alignment for VLAs via Automated Video-Language Grounding

• arxiv url: http://arxiv.org/abs/2610.09718v1
• Date: Wed, 07 Oct 2026 09:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.827396
• Title: YUBI-STAG: Contact and Semantic-Rich Alignment for VLAs via Automated Video-Language Grounding
• Title（参考訳）: YUBI-STAG:自動ビデオランゲージグラウンドリングによるVLAの接触とセマンティック・リッチアライメント
• Abstract要約: 本稿では,対話に富むセマンティクスを用いた実演操作のためのフレームワークであるYUBI-STAGを紹介する。 YUBI-STAGは、オブジェクトのアイデンティティ、属性、状態、グリッパー毎のアクション、双方向のコーディネーション、空間的に接地された相互作用に注釈を付ける。 提案手法をYUBI-VLMに精錬し,生の未分別ビデオからのアクション構造とアノテーションを少数の推論コールで回収し,手首ビューのみから操作する。
• 参考スコア（独自算出の注目度）: 23.219530018521507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models acquire broad manipulation capabilities via large-scale pretraining, yet eliciting them through language requires fine-grained alignment between instructions and physical interactions. Existing robot demonstrations typically provide only coarse task descriptions, omitting how actions are executed, including which gripper acts, which object is contacted, and how it is grasped and moved. We introduce YUBI-STAG, a framework for Spatio-Temporal Annotation and Grounding that automatically enriches manipulation demonstrations with interaction-rich semantics to align pretrained VLAs with fine-grained manipulation language. Combining contact-object segmentation with vision-language models, YUBI-STAG annotates object identities, attributes and states, per-gripper actions, bimanual coordination, and spatially grounded interactions. To address YUBI-STAG's reliance on localized sequences and multi-stage VLM inference, we distill it into YUBI-VLM. YUBI-VLM directly recovers action structure and annotations from raw, unsegmented video in few inference calls and operates from wrist views alone. We evaluate both frameworks on YUBI-STAG-Bench across temporal, semantic, and spatial grounding tasks. YUBI-VLM retains much of YUBI-STAG's annotation accuracy with fewer inference calls and shorter runtime while generalizing to unseen manipulations. Finally, post-training VLA policies on these annotations aligns them with fine-grained language and contact-aware structure. Bimanual experiments demonstrate improved performance and instruction following, including control over object identity, acting gripper, target location, and spatial relations absent from original labels.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、大規模な事前訓練を通じて幅広い操作能力を取得するが、言語を通してそれらを引き出すには、命令と物理的相互作用の微調整が必要である。 既存のロボットのデモは、通常、粗いタスク記述のみを提供し、どのグリップがどの動作をするか、どのオブジェクトに接触するか、どのように把握し、移動するかを省略する。 本稿では,対話に富んだセマンティクスによる操作デモを自動的に強化し,事前学習したVLAを微粒な操作言語で整列させる,時空間アノテーションと接地のためのフレームワークであるYUBI-STAGを紹介する。 接点オブジェクトのセグメンテーションと視覚言語モデルを組み合わせることで、YUBI-STAGはオブジェクトのアイデンティティ、属性と状態、グリッパーアクションごとのアクション、バイマニュアルコーディネート、空間的に接地された相互作用を注釈付けする。 YUBI-STAGの局所配列と多段階VLM推論への依存に対処するため、YUBI-VLMに蒸留する。 YUBI-VLMは、生の未セグメンテーションビデオから直接アクション構造とアノテーションを推論コールで回収し、手首からのみ操作する。 時間的,意味的,空間的接地作業におけるYUBI-STAG-Benchの両フレームワークの評価を行った。 YUBI-VLMは、YUBI-STAGのアノテーションの精度の多くを保持し、推論の呼び出しが少なくなり、実行時間が短くなった。 最後に、これらのアノテーションに対するVLAポリシーのトレーニング後、これらをきめ細かい言語と接触認識構造と整合させる。 双方向実験では、オブジェクトのアイデンティティ、アクショングリップ、ターゲット位置、元のラベルから欠落した空間関係の制御など、パフォーマンスの向上と指示の追従が実証された。

関連論文リスト

• SG-WAM: Text-Grounded and Spatial-aware Semantic Guidance for World-Action Models [16.792979070880147]
  本研究では,世界行動モデルのための意味指導手法であるSG-WAMを提案する。 視覚言語モデル(VLM)を意味プランナとして使用し,世界行動モデルの命令接地能力を向上させる。
  論文  参考訳（メタデータ） (2026-08-09T17:59:35Z)
• AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
  VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。 本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。 提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
  論文  参考訳（メタデータ） (2026-05-21T17:58:26Z)
• GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representations [19.347332945780273]
  VLA(Vision-Language-Action)モデルは、知覚と行動の統一による汎用ロボット操作の強力な可能性を示している。 ジェスチャーを並列命令として導入し,GesVLA(Gesture-Aware Vision-Language-Action Model)を提案する。 実験結果から,ジェスチャを組み込むことにより,目標の接地精度と人間とロボットの相互作用効率が一貫した改善が得られた。
  論文  参考訳（メタデータ） (2026-05-21T17:57:44Z)
• Training-Free Semantic Multi-Object Tracking with Vision-Language Models [15.959138472718235]
  TF-SMOTはトレーニング不要のSMOTパイプラインで、検出、マスクベースのトラッキング、ビデオ言語生成のための事前トレーニング済みコンポーネントを構成する。 TF-SMOTは、SMOT設定における最先端追跡性能を達成し、先行技術と比較して要約とキャプション品質を向上させる。
  論文  参考訳（メタデータ） (2026-04-15T16:44:57Z)
• KineVLA: Towards Kinematics-Aware Vision-Language-Action Models with Bi-Level Action Decomposition [89.7916653471162]
  本稿では,多様なキネマティック属性を密に符号化する,新しいキネマティックスリッチな視覚言語アクション(VLA)タスクを提案する。 この設定では、タスクゴールは不変のままであり、実行軌跡は命令レベルのキネマティック仕様に適応する必要がある。 我々は、KineVLAがキネマティクスに敏感なベンチマークで強いVLAベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-03-18T09:28:49Z)
• Temporal Grounding as a Learning Signal for Referring Video Object Segmentation [29.646697516547558]
  Referring Video Object (RVOS)は、自然言語表現に基づくビデオ内のオブジェクトのセグメンテーションと追跡を目的としており、ビジュアルコンテンツとテキストクエリの正確なアライメントを必要とする。 既存の手法は、主に訓練中にフレームサンプリングとすべての可視物体の監督が区別できないため、意味的ミスアライメントに悩まされることが多い。 私たちは、MeViSベンチマークに基づいて構築されたデータセットであるMeViS-Mを紹介します。
  論文  参考訳（メタデータ） (2025-08-16T07:34:43Z)
• OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction [95.6266030753644]
  Vision-Language-Action(VLA)モデルは、視覚的な観察と言語指示に基づいてロボット行動を予測することを目的としている。 既存のアプローチでは、視覚的特徴と言語的特徴が独立して下流ポリシーに供給されるため、微調整済みの視覚言語モデル(VLM)が必要である。 本稿では,テキスト認識による視覚的特徴抽出によって既存のアライメントを活用する新しいVLAアーキテクチャOTTERを提案する。
  論文  参考訳（メタデータ） (2025-03-05T18:44:48Z)
• Position-Aware Contrastive Alignment for Referring Image Segmentation [65.16214741785633]
  マルチモーダル特徴のアライメントを強化するために,位置認識型コントラストアライメントネットワーク(PCAN)を提案する。 1)自然言語記述に関連するすべてのオブジェクトの位置情報を提供する位置認識モジュール(PAM)と,2)マルチモーダルアライメントを強化するコントラスト言語理解モジュール(CLUM)の2つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2022-12-27T09:13:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。