論文の概要: GraspXL: Generating Grasping Motions for Diverse Objects at Scale
- arxiv url: http://arxiv.org/abs/2403.19649v1
- Date: Thu, 28 Mar 2024 17:57:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 15:04:56.090677
- Title: GraspXL: Generating Grasping Motions for Diverse Objects at Scale
- Title(参考訳): GraspXL: スケールでの異物に対するグラッピング運動の生成
- Authors: Hui Zhang, Sammy Christen, Zicong Fan, Otmar Hilliges, Jie Song,
- Abstract要約: 人間の手は、対象の特定の部分をつかんだり、望ましい方向から近づいたりするなど、多様な物体と相互作用する器用さを持っている。
近年の作業では、所望の進路方向や把握領域などの単一目的に追従する把握動作を合成している。
政策学習フレームワークGraspXLにおいて,複数の運動目標,多様な物体形状,器用な手形態にまたがる手物体把握動作の生成を統一する。
- 参考スコア(独自算出の注目度): 30.104108863264706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human hands possess the dexterity to interact with diverse objects such as grasping specific parts of the objects and/or approaching them from desired directions. More importantly, humans can grasp objects of any shape without object-specific skills. Recent works synthesize grasping motions following single objectives such as a desired approach heading direction or a grasping area. Moreover, they usually rely on expensive 3D hand-object data during training and inference, which limits their capability to synthesize grasping motions for unseen objects at scale. In this paper, we unify the generation of hand-object grasping motions across multiple motion objectives, diverse object shapes and dexterous hand morphologies in a policy learning framework GraspXL. The objectives are composed of the graspable area, heading direction during approach, wrist rotation, and hand position. Without requiring any 3D hand-object interaction data, our policy trained with 58 objects can robustly synthesize diverse grasping motions for more than 500k unseen objects with a success rate of 82.2%. At the same time, the policy adheres to objectives, which enables the generation of diverse grasps per object. Moreover, we show that our framework can be deployed to different dexterous hands and work with reconstructed or generated objects. We quantitatively and qualitatively evaluate our method to show the efficacy of our approach. Our model and code will be available.
- Abstract(参考訳): 人間の手は、対象の特定の部分をつかんだり、望ましい方向から近づいたりするなど、多様な物体と相互作用する器用さを持っている。
さらに重要なのは、人間は物体固有のスキルを使わずにあらゆる形の物体を把握できるということです。
近年の作業では、所望の進路方向や把握領域などの単一目的に追従する把握動作を合成している。
さらに、トレーニングや推論の間、高価な3Dハンドオブジェクトデータに頼っているため、大規模に見えない物体の把握動作を合成する能力が制限される。
本論文では、政策学習フレームワークGraspXLにおいて、複数の運動対象物、多様な物体形状、および器用な手形態にまたがる手対象把握動作の生成を統一する。
目的は、把握可能な領域、接近中の方向、手首回転、手の位置から成り立っている。
3Dハンドオブジェクトのインタラクションデータを必要としないため、58個のオブジェクトでトレーニングされたポリシーは、成功率82.2%の500万以上の未確認オブジェクトに対する多様な把握動作を堅牢に合成することができる。
同時に、ポリシーは目的に固執し、オブジェクトごとの多様な把握の生成を可能にする。
さらに、我々のフレームワークは、異なるデクスタラスハンドにデプロイされ、再構成または生成されたオブジェクトで作業可能であることを示す。
提案手法の有効性を定量的に,質的に評価した。
私たちのモデルとコードは利用可能です。
関連論文リスト
- Text2HOI: Text-guided 3D Motion Generation for Hand-Object Interaction [8.253265795150401]
本稿では,3Dにおける手-物間相互作用のシーケンスを生成するための最初のテキスト誘導作業について紹介する。
接触生成のために、VAEベースのネットワークはテキストとオブジェクトメッシュを入力として、手の表面とオブジェクトとの間の接触の確率を生成する。
運動生成のために、トランスフォーマーベースの拡散モデルは、この3Dコンタクトマップを、物理的に可塑性な手オブジェクトの動きを生成するための強力な先行手段として利用する。
論文 参考訳(メタデータ) (2024-03-31T04:56:30Z) - DiffH2O: Diffusion-Based Synthesis of Hand-Object Interactions from Textual Descriptions [15.417836855005087]
DiffH2Oは,現実的,一方的あるいは一方的な物体相互作用を合成する新しい手法である。
タスクを把握段階とテキストベースのインタラクション段階に分解する。
把握段階では、モデルが手の動きのみを生成するのに対し、手と物の両方のポーズが合成される。
論文 参考訳(メタデータ) (2024-03-26T16:06:42Z) - Controllable Human-Object Interaction Synthesis [81.45852197029363]
本稿では,物体の動きと人体の動きを同時に生成するCHOIS(C Controllable Human-Object Interaction Synthesis)を提案する。
我々は、言語記述、初期オブジェクトと人間の状態、およびスパースオブジェクトのウェイポイントが与えられた条件拡散モデルを使用する。
これらの問題を克服するために、生成した物体の動きと入力対象の経路点との整合性を改善するために、追加の監督としてオブジェクト幾何損失を導入する。
論文 参考訳(メタデータ) (2023-12-06T21:14:20Z) - Anthropomorphic Grasping with Neural Object Shape Completion [20.952799332420195]
人間は、オブジェクトを扱うときに異常な器用さを示します。
手の姿勢は、把握すべき対象に対する特定の領域の影響を一般的に示している。
本研究では、部分的な観察から全幾何学を再構築し、完成させることにより、人間のような物体の理解を活用する。
論文 参考訳(メタデータ) (2023-11-04T21:05:26Z) - Object Motion Guided Human Motion Synthesis [22.08240141115053]
大規模物体の操作におけるフルボディ人体動作合成の問題点について検討する。
条件付き拡散フレームワークであるOMOMO(Object Motion Guided Human Motion synthesis)を提案する。
我々は、操作対象物にスマートフォンを装着するだけで、全身の人間の操作動作をキャプチャする新しいシステムを開発した。
論文 参考訳(メタデータ) (2023-09-28T08:22:00Z) - ROAM: Robust and Object-Aware Motion Generation Using Neural Pose
Descriptors [73.26004792375556]
本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。
我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。
本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-08-24T17:59:51Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳(メタデータ) (2023-03-23T09:31:56Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z) - IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object
Interactions [69.95820880360345]
そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。
本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。
その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
論文 参考訳(メタデータ) (2022-12-14T23:59:24Z) - Efficient Representations of Object Geometry for Reinforcement Learning
of Interactive Grasping Policies [29.998917158604694]
本稿では,様々な幾何学的に異なる実世界の物体の対話的把握を学習する強化学習フレームワークを提案する。
学習したインタラクティブなポリシーのビデオはhttps://maltemosbach.org/io/geometry_aware_grasping_policiesで公開されている。
論文 参考訳(メタデータ) (2022-11-20T11:47:33Z) - Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。
本稿では,厳密な把握を学習するためのアプローチを提案する。
私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
論文 参考訳(メタデータ) (2020-09-03T04:00:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。