論文の概要: Multi-fingered Robotic Hand Grasping in Cluttered Environments through Hand-object Contact Semantic Mapping
- arxiv url: http://arxiv.org/abs/2404.08844v1
- Date: Fri, 12 Apr 2024 23:11:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 18:22:57.623731
- Title: Multi-fingered Robotic Hand Grasping in Cluttered Environments through Hand-object Contact Semantic Mapping
- Title（参考訳）: ハンドオブジェクト接触セマンティックマッピングによるクラッタ環境における多指ロボットハンドグラッピング
- Authors: Lei Zhang, Kaixin Bai, Guowen Huang, Zhaopeng Chen, Jianwei Zhang,
- Abstract要約: そこで本研究では,5指ハンドグリップサンプルを散在した状態で生成する手法を開発した。
我々のアプローチの重要な側面は、接触空間および意味表現を推定できるデータ生成方法である。
本稿では,これらの地図から機械的手つかみポーズを効率的に定式化する,ユニークな把握検出手法を提案する。
- 参考スコア（独自算出の注目度）: 8.11121483911344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of optimization method and generative models has significantly advanced dexterous manipulation techniques for five-fingered hand grasping. Yet, the application of these techniques in cluttered environments is a relatively unexplored area. To address this research gap, we have developed a novel method for generating five-fingered hand grasp samples in cluttered settings. This method emphasizes simulated grasp quality and the nuanced interaction between the hand and surrounding objects. A key aspect of our approach is our data generation method, capable of estimating contact spatial and semantic representations and affordance grasps based on object affordance information. Furthermore, our Contact Semantic Conditional Variational Autoencoder (CoSe-CVAE) network is adept at creating comprehensive contact maps from point clouds, incorporating both spatial and semantic data. We introduce a unique grasp detection technique that efficiently formulates mechanical hand grasp poses from these maps. Additionally, our evaluation model is designed to assess grasp quality and collision probability, significantly improving the practicality of five-fingered hand grasping in complex scenarios. Our data generation method outperforms previous datasets in grasp diversity, scene diversity, modality diversity. Our grasp generation method has demonstrated remarkable success, outperforming established baselines with 81.0% average success rate in real-world single-object grasping and 75.3% success rate in multi-object grasping. The dataset and supplementary materials can be found at https://sites.google.com/view/ffh-clutteredgrasping, and we will release the code upon publication.
- Abstract（参考訳）: 最適化手法と生成モデルの統合により,手指の5指握りに対する巧妙な巧妙な操作技術が得られた。
しかし、これらの手法を乱雑な環境に適用することは、比較的未調査の分野である。
この研究ギャップに対処するため,手指5本のグリップサンプルを散在した状態で生成する手法を開発した。
本手法は,手と周囲の物体のグリップ品質と微妙な相互作用をシミュレートすることを強調する。
提案手法の鍵となる側面は,オブジェクトの空き情報に基づいて接触空間および意味表現と余暇把握を推定できるデータ生成手法である。
さらに,我々のコンタクトセマンティック条件変分オートエンコーダ(CoSe-CVAE)ネットワークは,空間データと意味データの両方を組み込んで,点雲から包括的接触マップを作成することに長けている。
本稿では,これらの地図から機械的手つかみポーズを効率的に定式化する,ユニークな把握検出手法を提案する。
さらに, 複雑なシナリオにおける5指ハンドグリップの実用性を大幅に向上させるとともに, 把握品質と衝突確率を評価するために, 評価モデルを構築した。
我々のデータ生成方法は、多様性、シーンの多様性、モダリティの多様性を把握するために、過去のデータセットより優れている。
提案手法は, 実世界の単一物体における平均成功率81.0%, 複数物体における平均成功率75.3%と, 確立されたベースラインを上回り, 顕著な成功を収めた。
データセットと補足資料はhttps://sites.google.com/view/ffh-clutteredgraspingで見ることができる。
関連論文リスト
- A Paradigm Shift in Mouza Map Vectorization: A Human-Machine Collaboration Approach [2.315458677488431]
現在の手動のデジタル化手法は時間と労力がかかる。
本研究では,デジタル化プロセスの効率化と,時間と人的資源の節約を目的とした半自動化手法を提案する。
論文 参考訳（メタデータ） (2024-10-21T12:47:36Z) - HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。
本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。
実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-04-04T02:15:16Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z) - Simultaneous prediction of hand gestures, handedness, and hand keypoints
using thermal images [0.6087960723103347]
赤外線カメラで捉えたサーマルデータを用いて手指のジェスチャー分類,手指検出,手指キーポイントの局所化を同時に行う手法を提案する。
提案手法は,共有エンコーダデコーダ層を含む新しい深層マルチタスク学習アーキテクチャを用いて,各タスクに専用の3つのブランチを付加する。
論文 参考訳（メタデータ） (2023-03-02T19:25:40Z) - SurfEmb: Dense and Continuous Correspondence Distributions for Object
Pose Estimation with Learnt Surface Embeddings [2.534402217750793]
データから物体表面上の密度の連続した2D-3D対応分布を学習する手法を提案する。
また,学習した分布を用いた剛体物体の6次元ポーズ推定手法を提案する。
論文 参考訳（メタデータ） (2021-11-26T13:39:38Z) - ProxyFAUG: Proximity-based Fingerprint Augmentation [81.15016852963676]
ProxyFAUGはルールベースで近接性に基づく指紋増強法である。
このデータセット上で最高のパフォーマンスの測位法は、中央値エラーで40%改善され、平均誤差で6%向上した。
論文 参考訳（メタデータ） (2021-02-04T15:59:30Z) - Multi-FinGAN: Generative Coarse-To-Fine Sampling of Multi-Finger Grasps [46.316638161863025]
本稿では,rgb-d画像から直接高画質把握を合成する高速生成型多指把持サンプリング手法であるmulti-finganを提案する。
シミュレーションにおける790の把握と実際のフランカ・エミカ・パンダの20の把握に対する標準的な把握方法に対して,本手法を実験的に検証し,ベンチマークした。
驚くべきことに、私たちのアプローチはベースラインよりも最大20〜30倍速く、フィードバックベースの把握再計画とタスク情報把握への扉を開く重要な改善です。
論文 参考訳（メタデータ） (2020-12-17T16:08:18Z) - MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand
Pose Estimation [32.12879364117658]
1枚のRGB画像から3Dハンドポーズを推定することは困難である。
我々は、任意のターゲットメッシュ基底真理に一致する剛性メッシュモデルを可能にするスピンマッチングアルゴリズムを設計する。
提案手法は,提案するデータセットを用いて手ポーズ推定器の訓練が性能を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2020-12-06T07:55:08Z) - Leveraging Photometric Consistency over Time for Sparsely Supervised
Hand-Object Reconstruction [118.21363599332493]
本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。
本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。
提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
論文 参考訳（メタデータ） (2020-04-28T12:03:14Z) - JHU-CROWD++: Large-Scale Crowd Counting Dataset and A Benchmark Method [92.15895515035795]
我々は、"4,372"イメージと"1.51万"アノテーションを含む、新しい大規模非制約クラウドカウントデータセット(JHU-CROWD++)を導入する。
本稿では, 残差誤差推定により, 群集密度マップを段階的に生成する新しい群集カウントネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-07T14:59:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。