論文の概要: Multi-fingered Robotic Hand Grasping in Cluttered Environments through Hand-object Contact Semantic Mapping

• arxiv url: http://arxiv.org/abs/2404.08844v2
• Date: Sun, 22 Sep 2024 11:46:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-09 03:14:33.999105
• Title: Multi-fingered Robotic Hand Grasping in Cluttered Environments through Hand-object Contact Semantic Mapping
• Title（参考訳）: ハンドオブジェクト接触セマンティックマッピングによるクラッタ環境における多指ロボットハンドグラッピング
• Authors: Lei Zhang, Kaixin Bai, Guowen Huang, Zhenshan Bing, Zhaopeng Chen, Alois Knoll, Jianwei Zhang,
• Abstract要約: 接触セマンティックマップを用いて, 乱雑な環境下でのマルチフィンガーハンドグリップサンプルを生成する手法を開発した。 また,マルチモーダルなマルチフィンガーグリップデータセット生成手法を提案する。
• 参考スコア（独自算出の注目度）: 14.674925349389179
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The deep learning models has significantly advanced dexterous manipulation techniques for multi-fingered hand grasping. However, the contact information-guided grasping in cluttered environments remains largely underexplored. To address this gap, we have developed a method for generating multi-fingered hand grasp samples in cluttered settings through contact semantic map. We introduce a contact semantic conditional variational autoencoder network (CoSe-CVAE) for creating comprehensive contact semantic map from object point cloud. We utilize grasp detection method to estimate hand grasp poses from the contact semantic map. Finally, an unified grasp evaluation model is designed to assess grasp quality and collision probability, substantially improving the reliability of identifying optimal grasps in cluttered scenarios. Our grasp generation method has demonstrated remarkable success, outperforming state-of-the-art methods by at least 4.65% with 81.0% average grasping success rate in real-world single-object environment and 75.3% grasping success rate in cluttered scenes. We also proposed the multi-modal multi-fingered grasping dataset generation method. Our multi-fingered hand grasping dataset outperforms previous datasets in scene diversity, modality diversity. The dataset, code and supplementary materials can be found at https://sites.google.com/view/ffh-cluttered-grasping.
• Abstract（参考訳）: 深層学習モデルには,多指ハンドグリップのための巧妙な操作技術が著しく進歩している。 しかし, 乱雑な環境下での接触情報誘導の把握は, いまだに過小評価されている。 このギャップに対処するため,接触セマンティックマップを用いて,乱雑な環境下でのマルチフィンガーハンドグリップサンプルを生成する手法を開発した。 オブジェクトポイントクラウドから総合的な接触セマンティックマップを作成するための接触セマンティック条件変分オートエンコーダネットワーク(CoSe-CVAE)を導入する。 接触セマンティックマップから手つかみポーズを推定するために把握検出法を利用する。 最後に, 把握品質と衝突確率を定量的に評価する統合的把握評価モデルを構築し, 散在シナリオにおける最適把握の信頼性を著しく向上する。 実世界の単一物体環境における把握成功率の平均は81.0%、散在するシーンでの把握成功率は75.3%である。 また,マルチモーダルなマルチフィンガーグリップデータセット生成手法を提案する。 マルチフィンガーハンドグルーピングデータセットは、シーンの多様性、モダリティの多様性において、過去のデータセットよりも優れています。 データセット、コード、補足資料はhttps://sites.google.com/view/ffh-cluttered-graspingで見ることができる。

関連論文リスト

• A Paradigm Shift in Mouza Map Vectorization: A Human-Machine Collaboration Approach [2.315458677488431]
  現在の手動のデジタル化手法は時間と労力がかかる。 本研究では,デジタル化プロセスの効率化と,時間と人的資源の節約を目的とした半自動化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T12:47:36Z)
• HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
  ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。 本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。 実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-04-04T02:15:16Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Simultaneous prediction of hand gestures, handedness, and hand keypoints using thermal images [0.6087960723103347]
  赤外線カメラで捉えたサーマルデータを用いて手指のジェスチャー分類,手指検出,手指キーポイントの局所化を同時に行う手法を提案する。 提案手法は,共有エンコーダデコーダ層を含む新しい深層マルチタスク学習アーキテクチャを用いて,各タスクに専用の3つのブランチを付加する。
  論文  参考訳（メタデータ） (2023-03-02T19:25:40Z)
• Interacting Hand-Object Pose Estimation via Dense Mutual Attention [97.26400229871888]
  3Dハンドオブジェクトのポーズ推定は多くのコンピュータビジョンアプリケーションの成功の鍵となる。 本研究では,手と物体間の微粒な依存関係をモデル化できる新しい相互注意機構を提案する。 提案手法は,高品質かつリアルタイムな推論速度で,物理的に妥当なポーズを生成できる。
  論文  参考訳（メタデータ） (2022-11-16T10:01:33Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)
• SurfEmb: Dense and Continuous Correspondence Distributions for Object Pose Estimation with Learnt Surface Embeddings [2.534402217750793]
  データから物体表面上の密度の連続した2D-3D対応分布を学習する手法を提案する。 また,学習した分布を用いた剛体物体の6次元ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2021-11-26T13:39:38Z)
• Greedy Offset-Guided Keypoint Grouping for Human Pose Estimation [31.468003041368814]
  私たちは、異なる人物からすべてのキーポイントを無差別に推測するために、Hourglass Networkを使用します。 我々は、予測された誘導オフセットを利用して、候補のキーポイントを複数の人間のポーズにグループ化します。 当社のアプローチは、公正な条件下でのCOCOデータセットの課題に関する最先端技術に匹敵するものです。
  論文  参考訳（メタデータ） (2021-07-07T09:32:01Z)
• ProxyFAUG: Proximity-based Fingerprint Augmentation [81.15016852963676]
  ProxyFAUGはルールベースで近接性に基づく指紋増強法である。 このデータセット上で最高のパフォーマンスの測位法は、中央値エラーで40%改善され、平均誤差で6%向上した。
  論文  参考訳（メタデータ） (2021-02-04T15:59:30Z)
• Multi-FinGAN: Generative Coarse-To-Fine Sampling of Multi-Finger Grasps [46.316638161863025]
  本稿では,rgb-d画像から直接高画質把握を合成する高速生成型多指把持サンプリング手法であるmulti-finganを提案する。 シミュレーションにおける790の把握と実際のフランカ・エミカ・パンダの20の把握に対する標準的な把握方法に対して,本手法を実験的に検証し,ベンチマークした。 驚くべきことに、私たちのアプローチはベースラインよりも最大20〜30倍速く、フィードバックベースの把握再計画とタスク情報把握への扉を開く重要な改善です。
  論文  参考訳（メタデータ） (2020-12-17T16:08:18Z)
• MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand Pose Estimation [32.12879364117658]
  1枚のRGB画像から3Dハンドポーズを推定することは困難である。 我々は、任意のターゲットメッシュ基底真理に一致する剛性メッシュモデルを可能にするスピンマッチングアルゴリズムを設計する。 提案手法は,提案するデータセットを用いて手ポーズ推定器の訓練が性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2020-12-06T07:55:08Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)
• JHU-CROWD++: Large-Scale Crowd Counting Dataset and A Benchmark Method [92.15895515035795]
  我々は、"4,372"イメージと"1.51万"アノテーションを含む、新しい大規模非制約クラウドカウントデータセット(JHU-CROWD++)を導入する。 本稿では, 残差誤差推定により, 群集密度マップを段階的に生成する新しい群集カウントネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T14:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。