論文の概要: Multi-fingered Robotic Hand Grasping in Cluttered Environments through Hand-object Contact Semantic Mapping
- arxiv url: http://arxiv.org/abs/2404.08844v1
- Date: Fri, 12 Apr 2024 23:11:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 18:22:57.623731
- Title: Multi-fingered Robotic Hand Grasping in Cluttered Environments through Hand-object Contact Semantic Mapping
- Title(参考訳): ハンドオブジェクト接触セマンティックマッピングによるクラッタ環境における多指ロボットハンドグラッピング
- Authors: Lei Zhang, Kaixin Bai, Guowen Huang, Zhaopeng Chen, Jianwei Zhang,
- Abstract要約: そこで本研究では,5指ハンドグリップサンプルを散在した状態で生成する手法を開発した。
我々のアプローチの重要な側面は、接触空間および意味表現を推定できるデータ生成方法である。
本稿では,これらの地図から機械的手つかみポーズを効率的に定式化する,ユニークな把握検出手法を提案する。
- 参考スコア(独自算出の注目度): 8.11121483911344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of optimization method and generative models has significantly advanced dexterous manipulation techniques for five-fingered hand grasping. Yet, the application of these techniques in cluttered environments is a relatively unexplored area. To address this research gap, we have developed a novel method for generating five-fingered hand grasp samples in cluttered settings. This method emphasizes simulated grasp quality and the nuanced interaction between the hand and surrounding objects. A key aspect of our approach is our data generation method, capable of estimating contact spatial and semantic representations and affordance grasps based on object affordance information. Furthermore, our Contact Semantic Conditional Variational Autoencoder (CoSe-CVAE) network is adept at creating comprehensive contact maps from point clouds, incorporating both spatial and semantic data. We introduce a unique grasp detection technique that efficiently formulates mechanical hand grasp poses from these maps. Additionally, our evaluation model is designed to assess grasp quality and collision probability, significantly improving the practicality of five-fingered hand grasping in complex scenarios. Our data generation method outperforms previous datasets in grasp diversity, scene diversity, modality diversity. Our grasp generation method has demonstrated remarkable success, outperforming established baselines with 81.0% average success rate in real-world single-object grasping and 75.3% success rate in multi-object grasping. The dataset and supplementary materials can be found at https://sites.google.com/view/ffh-clutteredgrasping, and we will release the code upon publication.
- Abstract(参考訳): 最適化手法と生成モデルの統合により,手指の5指握りに対する巧妙な巧妙な操作技術が得られた。
しかし、これらの手法を乱雑な環境に適用することは、比較的未調査の分野である。
この研究ギャップに対処するため,手指5本のグリップサンプルを散在した状態で生成する手法を開発した。
本手法は,手と周囲の物体のグリップ品質と微妙な相互作用をシミュレートすることを強調する。
提案手法の鍵となる側面は,オブジェクトの空き情報に基づいて接触空間および意味表現と余暇把握を推定できるデータ生成手法である。
さらに,我々のコンタクトセマンティック条件変分オートエンコーダ(CoSe-CVAE)ネットワークは,空間データと意味データの両方を組み込んで,点雲から包括的接触マップを作成することに長けている。
本稿では,これらの地図から機械的手つかみポーズを効率的に定式化する,ユニークな把握検出手法を提案する。
さらに, 複雑なシナリオにおける5指ハンドグリップの実用性を大幅に向上させるとともに, 把握品質と衝突確率を評価するために, 評価モデルを構築した。
我々のデータ生成方法は、多様性、シーンの多様性、モダリティの多様性を把握するために、過去のデータセットより優れている。
提案手法は, 実世界の単一物体における平均成功率81.0%, 複数物体における平均成功率75.3%と, 確立されたベースラインを上回り, 顕著な成功を収めた。
データセットと補足資料はhttps://sites.google.com/view/ffh-clutteredgraspingで見ることができる。
関連論文リスト
- HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。
まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。
そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
論文 参考訳(メタデータ) (2024-03-27T13:56:08Z) - UGG: Unified Generative Grasping [43.26740792207497]
オブジェクトに条件付けされたグリーティング姿勢を生成するジェネレーションベースの手法は、しばしば多様なグリーティングを生成する。
我々は,UGGという名前の拡散に基づくデクスタラスグリップ生成モデルを導入する。
本モデルでは,大規模DexGraspNetデータセットを用いて,最先端のデクスタラスグルーピングを実現する。
論文 参考訳(メタデータ) (2023-11-28T16:20:33Z) - Deep-Learning Framework for Optimal Selection of Soil Sampling Sites [0.0]
この研究は、画像処理におけるディープラーニングの最近の進歩を活用して、フィールドの重要な特性を示す最適な位置を見つける。
本フレームワークは,自己保持機構をバックボーンとするエンコーダデコーダアーキテクチャで構築されている。
このモデルはテストデータセットにおいて、平均精度99.52%、IoU平均インターセクション57.35%、Dice Coefficient平均71.47%という驚くべき結果を得た。
論文 参考訳(メタデータ) (2023-09-02T16:19:21Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - Semantic keypoint-based pose estimation from single RGB frames [64.80395521735463]
一つのRGB画像からオブジェクトの連続6-DoFポーズを推定する手法を提案する。
このアプローチは、畳み込みネットワーク(convnet)によって予測されるセマンティックキーポイントと、変形可能な形状モデルを組み合わせる。
提案手法は,インスタンスベースのシナリオとクラスベースのシナリオの両方に対して,6-DoFオブジェクトのポーズを正確に復元できることを示す。
論文 参考訳(メタデータ) (2022-04-12T15:03:51Z) - Real-time Pose and Shape Reconstruction of Two Interacting Hands With a
Single Depth Camera [79.41374930171469]
本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。
われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。
過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
論文 参考訳(メタデータ) (2021-06-15T11:39:49Z) - ProxyFAUG: Proximity-based Fingerprint Augmentation [81.15016852963676]
ProxyFAUGはルールベースで近接性に基づく指紋増強法である。
このデータセット上で最高のパフォーマンスの測位法は、中央値エラーで40%改善され、平均誤差で6%向上した。
論文 参考訳(メタデータ) (2021-02-04T15:59:30Z) - SimPose: Effectively Learning DensePose and Surface Normals of People
from Simulated Data [7.053519629075887]
本稿では,1画素あたり2.5Dと3次元回帰表現の難易度を学習する手法を提案する。
2.5DPose推定タスクと3次元人体表面の正規分布推定タスクに対して,強力なsim-to-real領域の一般化を得た。
提案手法は既存の領域適応手法と相補的であり,他の高密度画素間ポーズ推定問題にも適用可能である。
論文 参考訳(メタデータ) (2020-07-30T14:59:38Z) - Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。
本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。
我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
論文 参考訳(メタデータ) (2020-07-07T17:19:56Z) - Focus on Semantic Consistency for Cross-domain Crowd Understanding [34.560447389853614]
いくつかのドメイン適応アルゴリズムは、合成データでモデルをトレーニングすることでそれを解放しようとする。
その結果,背景領域における推定誤差が既存手法の性能を阻害していることが判明した。
本稿では,ドメイン適応手法を提案する。
論文 参考訳(メタデータ) (2020-02-20T08:51:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。