論文の概要: Gripper-aware Vision Language Action Models
- arxiv url: http://arxiv.org/abs/2608.24603v1
- Date: Tue, 25 Aug 2026 14:24:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:35.026515
- Title: Gripper-aware Vision Language Action Models
- Title（参考訳）: グリッパー認識型視覚言語行動モデル
- Abstract要約: MiGAは、複数のロボットにまたがる5つの異なるグリップタイプにまたがるマルチグリッパー対応データセットで、103,000のデモを行う。
また,新しいマルチグリッパートークンとアダプタベースのポリシールーティングを組み合わせたGVLAを提案する。
我々の新しいグリップエンコーディングは、パラメータ共有と戦略微分のバランスをとる構造的埋め込み情報を誘導する。
- 参考スコア（独自算出の注目度）: 29.51042768899313
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision language action models (VLAs) have advanced general purpose robotic grasping and manipulation by enabling robots to interpret visual observations and natural language instructions to generate executable action sequences. However, existing VLAs often implicitly assume gripper invariance, despite grasping strategies being inherently embodiment-dependent. Different gripper types, such as parallel-jaw and suction, usually require distinct interaction strategies to achieve the same grasping objective. Moreover, current datasets for VLAs predominantly rely on parallel-jaw grippers, limiting gripper-aware learning. To address this gap, we introduce MiGA, a multi-gripper-aware dataset spanning five distinct gripper types across multiple robots with 103,000 demonstrations, explicitly capturing strategy divergence under shared task objectives. We further propose GVLA, which combines a new multi-gripper tokenizer with adapter-based policy routing. Our new gripper encoding induces structured embedding information that balances parameter sharing and strategy differentiation, while layer-wise probing confirms meaningful gripper-conditioned representations for VLAs. Intensive experiments in both simulation and real-world robots show that our GVLA outperforms the current baselines across evaluated settings. Our method also improves zero-shot generalization or few-shot adaptation to new objects or unseen tasks, and enable more efficient gripper adaptation.
- Abstract（参考訳）: 視覚言語行動モデル(VLA)は、ロボットが視覚的な観察や自然言語命令を解釈して実行可能な動作シーケンスを生成することによって、高度な汎用的なロボットの把握と操作を行う。
しかしながら、既存のVLAは、本質的に具体化に依存しているものの、しばしばグリーパーの不変性を暗黙的に仮定する。
パラレルジャウや吸引のような異なるグリップタイプは、通常同じグリップ目的を達成するために異なる相互作用戦略を必要とする。
さらに、VLAの現在のデータセットは、主にパラレルジャウグリップパーに依存し、グリップアウェアラーニングを制限する。
このギャップを解決するために、我々は、複数のロボットに5つの異なるグリップタイプにまたがるマルチグリッパー対応データセットであるMiGAを導入し、103,000のデモを行い、共有タスクの目的の下で戦略のばらつきを明示的に捉えた。
さらに,新しいマルチグリッパートークンとアダプタベースのポリシールーティングを組み合わせたGVLAを提案する。
我々の新しいグリップエンコーディングは、パラメータ共有と戦略微分のバランスをとる構造的埋め込み情報を誘導する一方、層ワイド探索は、VLAの有意義なグリップコンディション表現を確認する。
シミュレーションと実世界のロボットによる集中的な実験は、GVLAが評価された設定で現在のベースラインを上回っていることを示している。
また、ゼロショットの一般化や、新しいオブジェクトや見えないタスクへの少数ショット適応を改善し、より効率的なグリップパ適応を可能にする。
関連論文リスト
- TS-Mask VLA: 2D Temporal-Spatial Masking for Vision-Language-Action Model with Effective Bridging [18.666233973595762]
TS-Mask VLAはロボット操作のための視覚言語アクションフレームワークである。
本手法は,(1)ブリッジアテンションコンディショニングブリッジを備えた離散アクションエキスパート,(2)時空間2Dマスキング戦略の2つの重要な設計に基づいて構築されている。
0.5Bパラメータしか持たない平均的な成功率は9%に達し、かなり大きなモデルを上回る。
論文 参考訳（メタデータ） (2026-07-10T07:06:02Z) - Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。
このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。
本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
論文 参考訳（メタデータ） (2026-06-07T08:57:51Z) - GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representations [19.347332945780273]
VLA(Vision-Language-Action)モデルは、知覚と行動の統一による汎用ロボット操作の強力な可能性を示している。
ジェスチャーを並列命令として導入し,GesVLA(Gesture-Aware Vision-Language-Action Model)を提案する。
実験結果から,ジェスチャを組み込むことにより,目標の接地精度と人間とロボットの相互作用効率が一貫した改善が得られた。
論文 参考訳（メタデータ） (2026-05-21T17:57:44Z) - DAM-VLA: A Dynamic Action Model-Based Vision-Language-Action Framework for Robot Manipulation [21.418782746588263]
DAM-VLAは動的アクションモデルに基づくVision-Language-Actionフレームワークである。
VLM推論と拡散に基づくアームとグリップ制御のためのアクションモデルを統合する。
DAM-VLAは、シミュレーションおよび実世界の設定において最先端のVLA手法よりも優れた成功率を達成する。
論文 参考訳（メタデータ） (2026-03-01T05:16:04Z) - Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。
連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。
複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
論文 参考訳（メタデータ） (2026-02-04T05:37:09Z) - HMVLA: Hyperbolic Multimodal Fusion for Vision-Language-Action Models [4.59200581394731]
HMVLAは、視覚と言語における固有の階層構造を利用して、包括的なセマンティックアライメントを実現する。
我々のHMVLAは双曲空間にマルチモーダルな特徴を埋め込んで、画像テキストデータに存在する階層関係をより効果的にモデリングすることを可能にする。
論文 参考訳（メタデータ） (2026-01-28T07:50:30Z) - HiMoE-VLA: Hierarchical Mixture-of-Experts for Generalist Vision-Language-Action Policies [83.41714103649751]
具体的インテリジェンスモデルの開発は、高品質なロボットのデモデータへのアクセスに依存する。
異種多種多様なロボットデータを扱うための視覚言語アクションフレームワークであるHiMoE-VLAを提案する。
HiMoE-VLAは既存のVLAベースラインよりも一貫したパフォーマンス向上を示し、高い精度と堅牢な一般化を実現している。
論文 参考訳（メタデータ） (2025-12-05T13:21:05Z) - Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy [73.75271615101754]
本稿では,Transformerアーキテクチャを活用した拡張性のあるフレームワークであるDitaについて紹介する。
Ditaはコンテキスト内コンディショニング(context conditioning)を採用しており、歴史的観察から生の視覚トークンと識別されたアクションをきめ細やかなアライメントを可能にする。
Ditaは、さまざまなカメラパースペクティブ、観察シーン、タスク、アクションスペースの横断的なデータセットを効果的に統合する。
論文 参考訳（メタデータ） (2025-03-25T15:19:56Z) - HybridVLA: Collaborative Diffusion and Autoregression in a Unified Vision-Language-Action Model [54.64088247291416]
操作ポリシー設計の基本的な目的は、ロボットに人間の指示を理解し、シーンの手がかりを推論し、動的な環境で一般化されたアクションを実行することである。
近年の自己回帰的視覚言語行動(VLA)法は、視覚言語モデル(VLM)から常識推論能力を継承し、次の行動予測を行う。
拡散に基づく行動の連続的な性質と自己回帰の文脈的推論を吸収する統合フレームワークであるHybridVLAを紹介する。
論文 参考訳（メタデータ） (2025-03-13T17:59:52Z) - Vision Language Models are In-Context Value Learners [89.29486557646624]
本稿では、視覚言語モデル(VLM)に埋め込まれた世界的知識を活用してタスクの進捗を予測する普遍的価値関数推定器である生成価値学習(GVL)を提案する。
ロボットやタスク固有のトレーニングがなければ、GVLは300以上の異なる現実世界のタスクに対して、ゼロショットと数ショットの効果的な値をインコンテキストで予測することができる。
論文 参考訳（メタデータ） (2024-11-07T09:17:50Z) - Diffusion Transformer Policy [48.50988753948537]
本稿では,拡散変圧器ポリシー(Diffusion Transformer Policy)と呼ばれる多モード拡散変圧器を提案し,連続的なエンドエフェクタ動作をモデル化する。
トランスのスケーリング機能を活用することで、提案手法は、多種多様なロボットデータセットにわたる継続的エンドエフェクタアクションを効果的にモデル化することができる。
論文 参考訳（メタデータ） (2024-10-21T12:43:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。