論文の概要: OpenDexGrasp: Open-vocabulary Task-Oriented Dexterous Grasping
- arxiv url: http://arxiv.org/abs/2609.18117v2
- Date: Thu, 17 Sep 2026 02:23:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.633843
- Title: OpenDexGrasp: Open-vocabulary Task-Oriented Dexterous Grasping
- Title（参考訳）: OpenDexGrasp: Open-vocabulary Task-Oriented Dexterous Grasping
- Abstract要約: 不安定なグリップ合成は、安定かつ物理的に可塑性な手ポーズを生成するために急速に進歩している。
ロボットは自由形言語から機能的意図を推論しなければならない。
この設定のための統一データおよび生成モデリングフレームワークであるOpenDexGraspを提案する。
- 参考スコア（独自算出の注目度）: 23.048255255845174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dexterous grasp synthesis has advanced rapidly in generating stable and physically plausible hand poses, but real-world manipulation requires grasps that preserve the function implied by the task. We study open-vocabulary task-oriented dexterous grasp generation, where a robot must infer functional intent from free-form language, ground it in multi-view visual observations and object geometry, and generate an executable high-degree-of-freedom grasp. We present OpenDexGrasp, a unified data and generative modeling framework for this setting. OpenDexVerse provides dual-source supervision organized by the Coverage-to-Alignment (C2A) Recipe: OpenDex-Scale offers large-scale semantic and geometric coverage through automatic grasp synthesis and vision-language annotation, while OpenDex-Align supplies high-quality embodied alignment through human teleoperation and category-level transfer. OpenDexGrasp learns a shared perception-action latent representation that couples open-vocabulary vision-language context with dexterous action generation. Affordance grounding and grasp generation provide complementary supervision over this latent space, enabling direct generation of task-consistent dexterous grasps without a separate affordance-to-pose inference stage. Extensive simulation and real-robot experiments demonstrate improved functional alignment, physical feasibility, generalization to unseen categories, and real-world execution success. Additional details and videos are available at https://opendexgrasp.github.io/.
- Abstract（参考訳）: 不安定なグリップ合成は、安定かつ物理的に妥当なポーズを生成するために急速に進歩してきたが、実世界の操作には、タスクによって入力される関数を保持するグリップが必要である。
そこでは,ロボットが自由形言語から機能的意図を推論し,多視点の視覚観測と物体形状をベースとしたオープン語彙タスク指向のデクスタラスグリップ生成を行い,実行可能な高自由度グリップを生成する。
この設定のための統一データおよび生成モデリングフレームワークであるOpenDexGraspを提案する。
OpenDexVerseは、Coverage-to-Alignment (C2A) Recipe: OpenDex-Scaleは、自動的な把握合成と視覚言語アノテーションを通じて、大規模な意味的および幾何学的カバレッジを提供する。
OpenDexGraspは、オープン語彙の視覚言語コンテキストとデクスタラスアクション生成を結合した、共有知覚アクション潜在表現を学習する。
この潜伏空間を補足的に監視し、個別の余裕から目的の推論段階を伴わずに、タスク一貫性のあるデクサラスグリップを直接生成する。
大規模なシミュレーションと実ロボット実験は、機能的アライメントの改善、物理的な実現可能性、見えないカテゴリへの一般化、実世界の実行の成功を実証している。
詳細とビデオはhttps://opendexgrasp.github.io/.com/で公開されている。
関連論文リスト
- AdvDex: Learning Dexterous Manipulation from Human Demonstrations via Joint-Aligned Actions and Adversarial Learning [25.241504281004243]
本稿では,人間とロボットのデモから,器用な操作を学ぶためのフレームワークであるAdvDexを紹介する。
まず、人間の操作デモの大規模マルチモーダルデータセットであるOmniShareを紹介する。
第2に,手首ポーズが$mathrmSE(3)$および15指関節からなる標準動作表現であるJAAS(Joint-Aligned Action Space)を提案する。
第3に,学習した視覚表現における具体的情報を減らすために,ドメイン・アドバイサル・ラーニングを用いる。
論文 参考訳（メタデータ） (2026-08-14T07:19:06Z) - CoDex: Learning Compositional Dexterous Functional Manipulation without Demonstrations [3.155881912157066]
CoDexはCD-FOM操作戦略を自律的に発見するゼロデーモンレーションフレームワークである。
6つのCD-FOMタスクにまたがる16-DoFマルチフィンガーハンドを用いた7-DoFロボットアーム上でのCoDexの評価を行った。
論文 参考訳（メタデータ） (2026-06-30T16:12:30Z) - OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following [59.53720386342017]
拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。
すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
論文 参考訳（メタデータ） (2026-05-26T00:08:06Z) - Plan in Sandbox, Navigate in Open Worlds: Learning Physics-Grounded Abstracted Experience for Embodied Navigation [63.11032720821731]
textitSAGEは、エージェントがフォトリアリスティックなシミュレーションではなく、物理基底のセマンティック抽象化内で学習することを可能にするフレームワークである。
textitSAGEは、A-EQA上で53.21% LLM-Match Success Rateを達成することで、プランナー支援の実施ナビゲーションを大幅に改善することを示した。
論文 参考訳（メタデータ） (2026-05-11T07:34:30Z) - HEX: Humanoid-Aligned Experts for Cross-Embodiment Whole-Body Manipulation [74.34984994596813]
HEXは、ヒューマノイドロボットの協調操作のための状態中心のフレームワークである。
ヘテロジニアスな実施形態をまたいだスケーラブルな学習のための、ヒューマノイドに整合した普遍的状態表現が組み込まれている。
タスクの成功率と一般化における最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-04-09T09:01:43Z) - UniHM: Unified Dexterous Hand Manipulation with Vision Language Model [39.2419824041854]
身体的に実現可能な器用な手操作を計画することは、ロボット操作と身体的AIにおける中心的な課題である。
自由形式の言語コマンドで案内される手操作を統一する最初のフレームワークであるUniHMを紹介する。
論文 参考訳（メタデータ） (2026-02-28T16:37:11Z) - Two-Stream Interactive Joint Learning of Scene Parsing and Geometric Vision Tasks [24.19752468668527]
Two Interactive Streams (TwInS)は、シーン解析と幾何学的視覚タスクを同時に実行可能な、バイオインスパイアされた新しい共同学習フレームワークである。
TwInSは、費用がかかる人手による通信基盤の真理への依存をなくすため、調整された半教師付き訓練戦略を備えている。
論文 参考訳（メタデータ） (2026-02-14T04:11:19Z) - Diffusion Transformer Policy [48.50988753948537]
本稿では,拡散変圧器ポリシー(Diffusion Transformer Policy)と呼ばれる多モード拡散変圧器を提案し,連続的なエンドエフェクタ動作をモデル化する。
トランスのスケーリング機能を活用することで、提案手法は、多種多様なロボットデータセットにわたる継続的エンドエフェクタアクションを効果的にモデル化することができる。
論文 参考訳（メタデータ） (2024-10-21T12:43:54Z) - Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。
この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。
本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
論文 参考訳（メタデータ） (2024-10-16T19:59:31Z) - Towards Open-World Grasping with Large Vision-Language Models [5.317624228510749]
オープンワールドの把握システムは、高レベルの文脈と低レベルの物理幾何学的推論を組み合わせることができるべきである。
本稿では,視覚言語モデルとセグメンテーションとグルーピング合成モデルを組み合わせたオープンワールドグルーピングパイプラインOWGを提案する。
乱雑な屋内シーンデータセットを用いて,オープンエンド言語を基盤としたOWGのロバスト性を示す。
論文 参考訳（メタデータ） (2024-06-26T19:42:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。