論文の概要: DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous Grasping

• arxiv url: http://arxiv.org/abs/2502.20900v3
• Date: Thu, 22 May 2025 08:27:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.73878
• Title: DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous Grasping
• Title（参考訳）: DexGraspVLA: 一般的なデキスタラスグラスピングに向けたビジョンランゲージ・アクションフレームワーク
• Authors: Yifan Zhong, Xuchuan Huang, Ruochong Li, Ceyao Zhang, Yitao Liang, Yaodong Yang, Yuanpei Chen,
• Abstract要約: 汎用ロボットは任意のシナリオで多様な物体を把握できなければならない。 DexGraspVLA(英語版)は、散らばったシーンにおける一般的なデキスタラス把握のための階層的なフレームワークである。 本手法は, 数千の未確認物体, 照明, 背景の組み合わせで90%以上の成功率を達成する。
• 参考スコア（独自算出の注目度）: 14.511049253735834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dexterous grasping remains a fundamental yet challenging problem in robotics. A general-purpose robot must be capable of grasping diverse objects in arbitrary scenarios. However, existing research typically relies on restrictive assumptions, such as single-object settings or limited environments, leading to constrained generalization. We present DexGraspVLA, a hierarchical framework for general dexterous grasping in cluttered scenes based on RGB image perception and language instructions. It utilizes a pre-trained Vision-Language model as the high-level task planner and learns a diffusion-based policy as the low-level Action controller. The key insight to achieve robust generalization lies in iteratively transforming diverse language and visual inputs into domain-invariant representations via foundation models, where imitation learning can be effectively applied due to the alleviation of domain shift. Notably, our method achieves a 90+% success rate under thousands of unseen object, lighting, and background combinations in a "zero-shot" environment. Empirical analysis confirms the consistency of internal model behavior across environmental variations, thereby validating our design and explaining its generalization performance. DexGraspVLA also demonstrates free-form long-horizon prompt execution, robustness to adversarial objects and human disturbance, and failure recovery, which are rarely achieved simultaneously in prior work. Extended application to nonprehensile object grasping further proves its generality. Code, model, and video are available at dexgraspvla.github.io.
• Abstract（参考訳）: 控えめな把握はロボティクスの根本的かつ困難な問題である。 汎用ロボットは任意のシナリオで多様な物体を把握できなければならない。 しかし、既存の研究は通常、単一対象の設定や限られた環境といった制限的な仮定に依存しており、制約付き一般化につながっている。 本稿では,RGB画像認識と言語指示に基づく乱雑な場面における一般的なデキスタラス把握のための階層的フレームワークであるDexGraspVLAを提案する。 高レベルのタスクプランナとして事前訓練されたビジョンランゲージモデルを使用し、低レベルのアクションコントローラとして拡散ベースのポリシーを学習する。 堅牢な一般化を実現するための重要な洞察は、様々な言語や視覚的な入力を基礎モデルを通じてドメイン不変表現に反復的に変換することにある。 特に「ゼロショット」環境では、数千の未確認物体、照明、背景の組み合わせで90%以上の成功率を達成する。 実験解析により, 環境変動にまたがる内部モデル挙動の整合性を確認し, 設計の妥当性を確認し, その一般化性能を説明する。 DexGraspVLAはまた、自由形式のロングホライゾン実行、敵のオブジェクトに対する堅牢性、人間の障害、障害回復を実証している。 非包括的対象把握への拡張適用は、その一般化をさらに証明する。 コード、モデル、ビデオはdexgraspvla.github.ioで入手できる。

関連論文リスト

• Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy [56.424032454461695]
  本稿では,Transformerアーキテクチャを活用した拡張性のあるフレームワークであるDitaについて紹介する。 Ditaはコンテキスト内コンディショニング(context conditioning)を採用しており、歴史的観察から生の視覚トークンと識別されたアクションをきめ細やかなアライメントを可能にする。 Ditaは、さまざまなカメラパースペクティブ、観察シーン、タスク、アクションスペースの横断的なデータセットを効果的に統合する。
  論文  参考訳（メタデータ） (2025-03-25T15:19:56Z)
• HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation [54.03004125910057]
  階層型視覚-言語-アクションモデルは、標準的なモノリシックVLAモデルよりも、ドメイン外のデータを利用するのに効果的であることを示す。 階層設計により、高レベルなVLMは、オフドメイン微調整データと実ロボットテストシナリオの間の重要なドメインギャップをまたいで転送可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-08T07:50:22Z)
• Beyond Sight: Finetuning Generalist Robot Policies with Heterogeneous Sensors via Language Grounding [85.63710017456792]
  FuSeは、不均一なセンサのモダリティに対する微調整型ビズモータ一般政策を可能にする新しいアプローチである。 FuSeは視覚,触覚,音などのモーダル性に対して共同で推論を必要とする挑戦的なタスクを実行できることを示す。 実世界での実験では、FuSeisはすべての基準ラインと比較して成功率を20%以上引き上げることができた。
  論文  参考訳（メタデータ） (2025-01-08T18:57:33Z)
• GenRL: Multimodal-foundation world models for generalization in embodied agents [12.263162194821787]
  強化学習(RL)は、タスクごとに複雑な報酬設計を必要とするため、スケールアップが難しい。 現在の基盤視覚言語モデル(VLM)は、微調整やその他の適応を具体的文脈で適用する必要がある。 このような領域におけるマルチモーダルデータの欠如は、具体化されたアプリケーションの基盤モデルを開発する上での障害である。
  論文  参考訳（メタデータ） (2024-06-26T03:41:48Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Robust Policies via Mid-Level Visual Representations: An Experimental Study in Manipulation and Navigation [115.4071729927011]
  エンド・ツー・エンドのRLフレームワークにおいて,中間レベルの視覚表現を汎用的かつ容易に認識可能な知覚状態として用いることの効果について検討した。 一般化を支援し、サンプルの複雑さを改善し、最終的なパフォーマンスを高めることを示します。 実際には、ドメインのランダム化やスクラッチからの学習が失敗したタスクのポリシーをうまくトレーニングするために、中間レベルの表現が使用できる。
  論文  参考訳（メタデータ） (2020-11-13T00:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。