論文の概要: Multi-fingered Robotic Hand Grasping in Cluttered Environments through Hand-object Contact Semantic Mapping
- arxiv url: http://arxiv.org/abs/2404.08844v2
- Date: Sun, 22 Sep 2024 11:46:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 03:14:33.999105
- Title: Multi-fingered Robotic Hand Grasping in Cluttered Environments through Hand-object Contact Semantic Mapping
- Title（参考訳）: ハンドオブジェクト接触セマンティックマッピングによるクラッタ環境における多指ロボットハンドグラッピング
- Authors: Lei Zhang, Kaixin Bai, Guowen Huang, Zhenshan Bing, Zhaopeng Chen, Alois Knoll, Jianwei Zhang,
- Abstract要約: 接触セマンティックマップを用いて, 乱雑な環境下でのマルチフィンガーハンドグリップサンプルを生成する手法を開発した。
また,マルチモーダルなマルチフィンガーグリップデータセット生成手法を提案する。
- 参考スコア（独自算出の注目度）: 14.674925349389179
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The deep learning models has significantly advanced dexterous manipulation techniques for multi-fingered hand grasping. However, the contact information-guided grasping in cluttered environments remains largely underexplored. To address this gap, we have developed a method for generating multi-fingered hand grasp samples in cluttered settings through contact semantic map. We introduce a contact semantic conditional variational autoencoder network (CoSe-CVAE) for creating comprehensive contact semantic map from object point cloud. We utilize grasp detection method to estimate hand grasp poses from the contact semantic map. Finally, an unified grasp evaluation model is designed to assess grasp quality and collision probability, substantially improving the reliability of identifying optimal grasps in cluttered scenarios. Our grasp generation method has demonstrated remarkable success, outperforming state-of-the-art methods by at least 4.65% with 81.0% average grasping success rate in real-world single-object environment and 75.3% grasping success rate in cluttered scenes. We also proposed the multi-modal multi-fingered grasping dataset generation method. Our multi-fingered hand grasping dataset outperforms previous datasets in scene diversity, modality diversity. The dataset, code and supplementary materials can be found at https://sites.google.com/view/ffh-cluttered-grasping.
- Abstract（参考訳）: 深層学習モデルには,多指ハンドグリップのための巧妙な操作技術が著しく進歩している。
しかし, 乱雑な環境下での接触情報誘導の把握は, いまだに過小評価されている。
このギャップに対処するため,接触セマンティックマップを用いて,乱雑な環境下でのマルチフィンガーハンドグリップサンプルを生成する手法を開発した。
オブジェクトポイントクラウドから総合的な接触セマンティックマップを作成するための接触セマンティック条件変分オートエンコーダネットワーク(CoSe-CVAE)を導入する。
接触セマンティックマップから手つかみポーズを推定するために把握検出法を利用する。
最後に, 把握品質と衝突確率を定量的に評価する統合的把握評価モデルを構築し, 散在シナリオにおける最適把握の信頼性を著しく向上する。
実世界の単一物体環境における把握成功率の平均は81.0%、散在するシーンでの把握成功率は75.3%である。
また,マルチモーダルなマルチフィンガーグリップデータセット生成手法を提案する。
マルチフィンガーハンドグルーピングデータセットは、シーンの多様性、モダリティの多様性において、過去のデータセットよりも優れています。
データセット、コード、補足資料はhttps://sites.google.com/view/ffh-cluttered-graspingで見ることができる。
関連論文リスト
- A Paradigm Shift in Mouza Map Vectorization: A Human-Machine Collaboration Approach [2.315458677488431]
現在の手動のデジタル化手法は時間と労力がかかる。
本研究では,デジタル化プロセスの効率化と,時間と人的資源の節約を目的とした半自動化手法を提案する。
論文 参考訳（メタデータ） (2024-10-21T12:47:36Z) - HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。
本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。
実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-04-04T02:15:16Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z) - Simultaneous prediction of hand gestures, handedness, and hand keypoints
using thermal images [0.6087960723103347]
赤外線カメラで捉えたサーマルデータを用いて手指のジェスチャー分類,手指検出,手指キーポイントの局所化を同時に行う手法を提案する。
提案手法は,共有エンコーダデコーダ層を含む新しい深層マルチタスク学習アーキテクチャを用いて,各タスクに専用の3つのブランチを付加する。
論文 参考訳（メタデータ） (2023-03-02T19:25:40Z) - SurfEmb: Dense and Continuous Correspondence Distributions for Object
Pose Estimation with Learnt Surface Embeddings [2.534402217750793]
データから物体表面上の密度の連続した2D-3D対応分布を学習する手法を提案する。
また,学習した分布を用いた剛体物体の6次元ポーズ推定手法を提案する。
論文 参考訳（メタデータ） (2021-11-26T13:39:38Z) - ProxyFAUG: Proximity-based Fingerprint Augmentation [81.15016852963676]
ProxyFAUGはルールベースで近接性に基づく指紋増強法である。
このデータセット上で最高のパフォーマンスの測位法は、中央値エラーで40%改善され、平均誤差で6%向上した。
論文 参考訳（メタデータ） (2021-02-04T15:59:30Z) - Multi-FinGAN: Generative Coarse-To-Fine Sampling of Multi-Finger Grasps [46.316638161863025]
本稿では,rgb-d画像から直接高画質把握を合成する高速生成型多指把持サンプリング手法であるmulti-finganを提案する。
シミュレーションにおける790の把握と実際のフランカ・エミカ・パンダの20の把握に対する標準的な把握方法に対して,本手法を実験的に検証し,ベンチマークした。
驚くべきことに、私たちのアプローチはベースラインよりも最大20〜30倍速く、フィードバックベースの把握再計画とタスク情報把握への扉を開く重要な改善です。
論文 参考訳（メタデータ） (2020-12-17T16:08:18Z) - MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand
Pose Estimation [32.12879364117658]
1枚のRGB画像から3Dハンドポーズを推定することは困難である。
我々は、任意のターゲットメッシュ基底真理に一致する剛性メッシュモデルを可能にするスピンマッチングアルゴリズムを設計する。
提案手法は,提案するデータセットを用いて手ポーズ推定器の訓練が性能を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2020-12-06T07:55:08Z) - Leveraging Photometric Consistency over Time for Sparsely Supervised
Hand-Object Reconstruction [118.21363599332493]
本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。
本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。
提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
論文 参考訳（メタデータ） (2020-04-28T12:03:14Z) - JHU-CROWD++: Large-Scale Crowd Counting Dataset and A Benchmark Method [92.15895515035795]
我々は、"4,372"イメージと"1.51万"アノテーションを含む、新しい大規模非制約クラウドカウントデータセット(JHU-CROWD++)を導入する。
本稿では, 残差誤差推定により, 群集密度マップを段階的に生成する新しい群集カウントネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-07T14:59:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。