論文の概要: Grounding Hierarchical Vision-Language-Action Models Through Explicit Language-Action Alignment

• arxiv url: http://arxiv.org/abs/2604.05614v1
• Date: Tue, 07 Apr 2026 09:03:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.729137
• Title: Grounding Hierarchical Vision-Language-Action Models Through Explicit Language-Action Alignment
• Title（参考訳）: 明示的言語行動アライメントによる階層的視覚言語行動モデルの構築
• Authors: Theodor Wulff, Federico Tavella, Rahul Singh Maharjan, Manith Adikari, Angelo Cangelosi,
• Abstract要約: 透明にするためには、ロボットの自然言語通信はその動作と一致しなければならない。 既存の階層型ビジョン・ランゲージ・アクション(VLA)モデルは、チェーン・オブ・ソートと低レベルのアクションを通じて言語を生成することができる。 本稿では,視覚的観察と行動空間に関して,階層的なVLAサブタスク記述を基盤とした新しいトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.001668956134368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Achieving robot transparency is a critical step toward effective human-robot collaboration. To be transparent, a robot's natural language communication must be consistent with its actions and explicitly grounded in the task and environment. Existing hierarchical Vision-Language-Action (VLA) models can generate language (e.g., through chain-of-thought) and low-level actions. However, current work does not consider explicit alignment between these modalities during training. To address this crucial gap, we propose a novel training framework that explicitly grounds hierarchical VLA sub-task descriptions with respect to the visual observation and action space. Our framework uses a contrastive model to assess the alignment between generated language and corresponding action trajectories. This contrastive model enables direct ranking of different language-trajectory pairs based on their alignment, allowing us to refine the grounding of our hierarchical VLA through offline preference learning. We apply our framework to the LanguageTable dataset, a benchmark dataset of human language-annotated trajectories, and provide critical insights into multimodal grounding representations, all while establishing a strong baseline that achieves performance comparable to fully supervised fine-tuning and minimizing the need for costly data annotations.
• Abstract（参考訳）: ロボットの透明性を達成することは、効果的な人間とロボットのコラボレーションに向けた重要なステップである。 透明にするためには、ロボットの自然言語通信は、その動作と一致し、タスクと環境に明示的に根ざす必要がある。 既存の階層型ビジョン・ランゲージ・アクション(VLA)モデルでは、言語(例えば、チェーン・オブ・シント)と低レベルのアクションを生成することができる。 しかしながら、現在の研究は、トレーニング中にこれらのモダリティ間の明確なアライメントを考慮していない。 この重要なギャップに対処するために、視覚的観察と行動空間に関して階層的なVLAサブタスク記述を明確に根拠付ける新しいトレーニングフレームワークを提案する。 我々のフレームワークは、生成された言語と対応する行動軌跡のアライメントを評価するために、対照的なモデルを用いています。 このコントラストモデルにより、アライメントに基づいて異なる言語軌道対の直接ランク付けが可能となり、オフラインの選好学習を通じて階層的なVLAの基盤を洗練できる。 我々は、LanguageTableデータセットに適用し、人間の言語に注釈付けされた軌跡のベンチマークデータセットを作成し、マルチモーダルグラウンド表現に対する重要な洞察を提供しながら、完全な教師付き微調整に匹敵するパフォーマンスを実現する強力なベースラインを確立し、コストのかかるデータアノテーションの必要性を最小限にする。

関連論文リスト

• VLGOR: Visual-Language Knowledge Guided Offline Reinforcement Learning for Generalizable Agents [14.848584432075285]
  大規模言語モデル(LLM)と強化学習(RL)により、エージェントはタスク実行のために言語命令をより効率的に解釈できる。 本稿では,視覚知識と言語知識を統合し,仮想ロールアウトを生成するフレームワークであるVisual-Language Knowledge-Guided Offline Reinforcement Learning (VLGOR)を提案する。 ロボット操作ベンチマークの実験では、VLGORは新たな最適ポリシーを必要とする未確認タスクのパフォーマンスを著しく改善し、ベースライン法よりも24%以上の成功率を達成した。
  論文  参考訳（メタデータ） (2026-03-24T07:40:30Z)
• Language-Grounded Decoupled Action Representation for Robotic Manipulation [78.42228162226839]
  認識と制御を結びつけるために,Language-Grounded Decoupled Action Representation (LaDA) フレームワークを提案する。 LaDAは3つの解釈可能なアクションプリミティブ(翻訳、回転、グリップ制御)の微細な中間層を導入し、低レベルのアクションに対して明示的な意味構造を提供する。 さらに、セマンティックガイダンスによるソフトラベルのコントラスト学習の目的を用いて、類似のアクションプリミティブをタスク間で整列させ、一般化と動きの整合性を高める。
  論文  参考訳（メタデータ） (2026-03-13T13:08:26Z)
• Alignment among Language, Vision and Action Representations [0.0]
  言語,視覚,行動表現が部分的に共有された意味構造に収束することを示す。 これらの結果は、言語、視覚、行動表現が部分的に共有された意味構造に収束していることを示している。
  論文  参考訳（メタデータ） (2026-01-30T13:12:07Z)
• Executable Analytic Concepts as the Missing Link Between VLM Insight and Precise Manipulation [70.8381970762877]
  VLM(Vision-Language Models)は、セマンティック推論とタスク計画において顕著な能力を示す。 本稿では,VLMに基づく推論を実行可能な解析概念を通じて基礎づける新しいフレームワークであるGRACEを紹介する。 G GRACEは高レベル命令理解と低レベルロボット制御の統一的で解釈可能なインターフェースを提供する。
  論文  参考訳（メタデータ） (2025-10-09T09:08:33Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• Temporal and Semantic Evaluation Metrics for Foundation Models in Post-Hoc Analysis of Robotic Sub-tasks [1.8124328823188356]
  本稿では,トラジェクトリデータを時間的境界と自然言語に基づく記述サブタスクに分解するフレームワークを提案する。 我々のフレームワークは、全軌道を構成する低レベルのサブタスクに対して、時間ベースの記述と言語ベースの記述の両方を提供する。 この尺度は2つのサブタスク分解の間の言語記述の時間的アライメントと意味的忠実度を測定する。
  論文  参考訳（メタデータ） (2024-03-25T22:39:20Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Context-Aware Language Modeling for Goal-Oriented Dialogue Systems [84.65707332816353]
  我々は、部分的に観察されたマルコフ決定過程としてゴール指向対話を定式化する。 目的を意識して言語モデルを微調整する,シンプルで効果的な手法を考案する。 本研究では,AirDialogue を用いた実践的なフライト予約タスクについて評価する。
  論文  参考訳（メタデータ） (2022-04-18T17:23:11Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。