論文の概要: $A^3$-VLA: Automatic Perception-Guided Attention Alignment for Robot Manipulation
- arxiv url: http://arxiv.org/abs/2611.06447v1
- Date: Wed, 04 Nov 2026 12:50:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.111228
- Title: $A^3$-VLA: Automatic Perception-Guided Attention Alignment for Robot Manipulation
- Title(参考訳): A^3$-VLA:ロボットマニピュレーションのための知覚誘導アテンションアライメント
- Abstract要約: 操作プロセス自体からタスク固有の視覚的ガイダンスを導出するフレームワークを提案する。
シミュレーションおよび実世界の操作タスクの実験では、$A3$-VLAが複数のVLAバックボーンを一貫して改善していることが示されている。
- 参考スコア(独自算出の注目度): 23.656630031402766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language-Action Models (VLAs) enable robots to perform manipulation tasks by leveraging Vision-Language Models (VLMs) to process visual observations and language instructions. However, the action prediction objective itself lacks fine-grained task-specific perceptual supervision, making it prone to relying on task-irrelevant visual shortcuts, leading attention away from target objects and key interaction areas, thereby limiting its operational performance and generalization ability. To address this, we propose Automatic Perception-Guided Attention Alignment for Robot Manipulation ($A^3$-VLA), a framework that derives task-specific visual guidance from the manipulation process itself. Specifically, $A^3$-VLA first generates heuristic candidate regions for target objects and the robot from interaction-induced visual changes, and refines them with a visual segmentation model offline. These regions serve as explicit perceptual guidance through two complementary objectives: an attention allocation loss that encourages sufficient focus on task-critical regions when language or robot state tokens query the visual input, and a contrastive learning loss that aligns the representations of candidate target regions with language instructions while separating them from task-irrelevant regions. Extensive experiments on simulated and real-world manipulation tasks demonstrate that $A^3$-VLA consistently improves multiple VLA backbones, with an average success rate gain of 6.5% - 25.2% across benchmarks.
- Abstract(参考訳): Vision-Language-Action Models (VLA)は、視覚観察と言語指示を処理するためにVLM(Vision-Language Models)を活用することで、ロボットが操作タスクを実行することを可能にする。
しかし、行動予測目的自体にはタスク固有の知覚的監督が欠如しており、タスク非関連の視覚的ショートカットに頼る傾向にあり、ターゲットオブジェクトや重要な相互作用領域から注意をそらすことになり、運用性能と一般化能力が制限される。
そこで本研究では,ロボット操作のための自動認識ガイドアライメント(A^3$-VLA)を提案する。
特に、$A^3$-VLAは、まずターゲットオブジェクトとロボットのヒューリスティックな候補領域を相互作用によって引き起こされる視覚的変化から生成し、それらを視覚的セグメンテーションモデルでオフラインで洗練する。
これらの領域は、言語またはロボットの状態トークンが視覚的な入力をクエリするときにタスククリティカルな領域に十分な注意を向ける注意割当損失と、タスク非関連領域からタスク非関連領域を分離しながら、候補対象領域の表現を言語命令と整合させる対照的な学習損失の2つの相補的な目的を通じて明確な知覚的ガイダンスとして機能する。
シミュレーションおよび実世界の操作タスクに関する大規模な実験は、$A^3$-VLAが複数のVLAバックボーンを一貫して改善し、ベンチマークの平均成功率は6.5%から25.2%であることを示した。
関連論文リスト
- H-VLA: Hierarchical Vision-Language-Action Model with Key-Action Reasoning and Motion Planning in a Unified Action Space [29.429328779681185]
VLA(Vision-Language-Action)モデルは、ロボット操作の強力な可能性を示している。
既存の多くの手法は、言語や視覚的な観察から密接な行動への直接的なマッピングに依存している。
低レベルのモーション生成から高レベルのキーアクション推論を分離する階層型VLAフレームワークであるH-VLAを提案する。
論文 参考訳(メタデータ) (2026-09-19T09:01:06Z) - AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。
AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
論文 参考訳(メタデータ) (2026-06-04T13:28:51Z) - Gaze2Act: Gaze-Conditioned Vision-Language-Action Policies for Interactive Robot Manipulation [24.026684861369386]
VLA(Vision-Language-Action)モデルは、最近、言語命令に従うことでロボット学習の可能性を強く示している。
どのオブジェクトが類似の候補と相互作用するか、どこでオブジェクトに作用するか、実行中にターゲットがどのように変化するかを記述するのは難しい。
複雑な対話操作のための動的かつ直感的な意図信号として人間の視線を利用する新しいVLAフレームワークであるGaze2Actを提案する。
論文 参考訳(メタデータ) (2026-05-28T17:37:16Z) - AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。
本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。
提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
論文 参考訳(メタデータ) (2026-05-21T17:58:26Z) - GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representations [19.347332945780273]
VLA(Vision-Language-Action)モデルは、知覚と行動の統一による汎用ロボット操作の強力な可能性を示している。
ジェスチャーを並列命令として導入し,GesVLA(Gesture-Aware Vision-Language-Action Model)を提案する。
実験結果から,ジェスチャを組み込むことにより,目標の接地精度と人間とロボットの相互作用効率が一貫した改善が得られた。
論文 参考訳(メタデータ) (2026-05-21T17:57:44Z) - Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。
空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。
実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
論文 参考訳(メタデータ) (2026-02-03T00:51:03Z) - ActiveVLA: Injecting Active Perception into Vision-Language-Action Models for Precise 3D Robotic Manipulation [52.94334113271359]
ActiveVLAは視覚言語によるアクションフレームワークで、ロボットに高い精度できめ細かな操作を可能にする。
我々は,ActiveVLAが3つのシミュレーションベンチマークで高精度な3D操作を実現し,最先端のベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2026-01-13T08:29:07Z) - Focusing on What Matters: Object-Agent-centric Tokenization for Vision Language Action models [8.452688845632995]
我々は,視覚・言語・アクション(VLA)モデルのためのオブジェクト・エージェント中心のトークン化であるOat-VLAを提案する。
Oat-VLAは、パフォーマンスを犠牲にすることなく、視覚トークンの数をわずかに減らすことができる。
我々は,Oat-VLA が LIBERO スイート上で OpenVLA の少なくとも2倍の速度で収束していることを明らかにする。
論文 参考訳(メタデータ) (2025-09-28T05:42:53Z) - CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。
視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。
実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
論文 参考訳(メタデータ) (2025-03-27T22:23:04Z) - Localizing Active Objects from Egocentric Vision with Symbolic World
Knowledge [62.981429762309226]
タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。
本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。
Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
論文 参考訳(メタデータ) (2023-10-23T16:14:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。