論文の概要: Visual-tactile Fusion for Transparent Object Grasping in Complex Backgrounds

• arxiv url: http://arxiv.org/abs/2211.16693v2
• Date: Sat, 8 Jun 2024 10:26:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 06:08:09.390736
• Title: Visual-tactile Fusion for Transparent Object Grasping in Complex Backgrounds
• Title（参考訳）: 複雑な背景を持つ透明物体グラフプのための視覚触覚融合
• Authors: Shoujie Li, Haixin Yu, Wenbo Ding, Houde Liu, Linqi Ye, Chongkun Xia, Xueqian Wang, Xiao-Ping Zhang,
• Abstract要約: 透明物体把握のための視覚触覚融合フレームワークを提案する。 把握位置検出、触覚キャリブレーション、視覚触覚融合に基づく分類が含まれる。 提案フレームワークは,視覚と触覚の利点を相乗化し,透明物体の把握効率を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 12.449232689517538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The accurate detection and grasping of transparent objects are challenging but of significance to robots. Here, a visual-tactile fusion framework for transparent object grasping under complex backgrounds and variant light conditions is proposed, including the grasping position detection, tactile calibration, and visual-tactile fusion based classification. First, a multi-scene synthetic grasping dataset generation method with a Gaussian distribution based data annotation is proposed. Besides, a novel grasping network named TGCNN is proposed for grasping position detection, showing good results in both synthetic and real scenes. In tactile calibration, inspired by human grasping, a fully convolutional network based tactile feature extraction method and a central location based adaptive grasping strategy are designed, improving the success rate by 36.7% compared to direct grasping. Furthermore, a visual-tactile fusion method is proposed for transparent objects classification, which improves the classification accuracy by 34%. The proposed framework synergizes the advantages of vision and touch, and greatly improves the grasping efficiency of transparent objects.
• Abstract（参考訳）: 透明物体の正確な検出と把握は難しいが、ロボットにとって重要である。 ここでは、複雑な背景と異なる光条件下での透明物体の把握のための視覚触覚融合フレームワークを提案し、把握位置検出、触覚キャリブレーション、視覚触覚融合に基づく分類を行った。 まず,ガウス分布に基づくデータアノテーションを用いたマルチシーン合成把握データセット生成手法を提案する。 さらに,TGCNNという新たな把握ネットワークを提案し,合成シーンと実シーンの両方で良好な結果が得られた。 人間のつかみにインスパイアされた触覚キャリブレーションにおいて、完全な畳み込みネットワークに基づく触覚特徴抽出法と中央位置に基づく適応的把握戦略を設計し、直接つかみよりも成功率を36.7%向上させる。 さらに,透明物体分類のための視覚触覚融合法を提案し,その精度を34%向上させた。 提案フレームワークは,視覚と触覚の利点を相乗化し,透明物体の把握効率を大幅に向上させる。

関連論文リスト

• Enhanced Automotive Object Detection via RGB-D Fusion in a DiffusionDet Framework [0.0]
  視覚に基づく自律走行には、信頼性と効率的な物体検出が必要である。 本研究では、単眼カメラと深度センサからのデータ融合を利用してRGBと深度(RGB-D)データを提供するDiffusionDetベースのフレームワークを提案する。 RGB画像のテクスチャ特徴と色特徴とLiDARセンサの空間深度情報を統合することにより,自動車目標の物体検出を大幅に強化する特徴融合が提案されている。
  論文  参考訳（メタデータ） (2024-06-05T10:24:00Z)
• Hardness-Aware Scene Synthesis for Semi-Supervised 3D Object Detection [59.33188668341604]
  3次元物体検出は、自律運転知覚の基本的なタスクとして機能する。 ポイントクラウドデータのための高品質なアノテーションを得るためには、コストがかかる。 本稿では,適応型合成シーンを生成するために,ハードネス対応シーン合成(HASS)手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:59:23Z)
• TransTouch: Learning Transparent Objects Depth Sensing Through Sparse Touches [23.87056600709768]
  本研究では,触覚フィードバックを持つ探索システムを用いて,疎深度ラベルを自動収集したステレオネットワークを微調整する手法を提案する。 提案手法は,特に透明物体に対して,現実世界の深度検出精度を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-09-18T01:55:17Z)
• Frequency Perception Network for Camouflaged Object Detection [51.26386921922031]
  周波数領域のセマンティック階層によって駆動される新しい学習可能かつ分離可能な周波数知覚機構を提案する。 ネットワーク全体では、周波数誘導粗い局所化ステージと細部保存の微細局在化ステージを含む2段階モデルを採用している。 提案手法は,既存のモデルと比較して,3つのベンチマークデータセットにおいて競合性能を実現する。
  論文  参考訳（メタデータ） (2023-08-17T11:30:46Z)
• View Consistent Purification for Accurate Cross-View Localization [59.48131378244399]
  本稿では,屋外ロボットのための微細な自己局在化手法を提案する。 提案手法は,既存のクロスビューローカライゼーション手法の限界に対処する。 これは、動的環境における知覚を増強する初めての疎視のみの手法である。
  論文  参考訳（メタデータ） (2023-08-16T02:51:52Z)
• Large-scale and Efficient Texture Mapping Algorithm via Loopy Belief Propagation [4.742825811314168]
  テクスチャマッピングアルゴリズムは、これらのビューからメッシュモデルへのビュー、ヒューズ、およびマップテクスチャを効率的に選択できなければならない。 既存のアプローチでは、画像の数を1つのビューに制限するか、グローバルな推論を単純化して局所的な色の一貫性を達成している。 本稿では,顔ごとのテクスチャの複数のビューを利用できる新しい,効率的なテクスチャマッピングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:11:28Z)
• VisTaNet: Attention Guided Deep Fusion for Surface Roughness Classification [0.0]
  本稿では,既存の触覚データセットを付加した視覚データセットを提案する。 4種類の融合戦略を用いて視覚・触覚データを融合する新しい深層融合アーキテクチャを提案する。 本モデルでは触覚のみに比べて表面粗さ分類精度が97.22%向上した。
  論文  参考訳（メタデータ） (2022-09-18T09:37:06Z)
• Voxel Field Fusion for 3D Object Detection [140.6941303279114]
  本稿では,3次元オブジェクト検出のための概念的にシンプルなフレームワークであるvoxel field fusionを提案する。 提案手法は, ボクセル領域における画像特徴を線として表現し, 融合することにより, モダリティの整合性を維持することを目的としている。 このフレームワークは、さまざまなベンチマークで一貫したゲインを達成し、KITTIとnuScenesデータセットでの従来のフュージョンベースのメソッドを上回っている。
  論文  参考訳（メタデータ） (2022-05-31T16:31:36Z)
• Progressive Coordinate Transforms for Monocular 3D Object Detection [52.00071336733109]
  本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。 本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-12T15:22:33Z)
• Generative Partial Visual-Tactile Fused Object Clustering [81.17645983141773]
  オブジェクトクラスタリングのためのGenerative Partial Visual-Tactile Fused(GPVTF)フレームワークを提案する。 条件付きクロスモーダルクラスタリング生成逆ネットワークを開発し、一方のモダリティ条件を他方のモダリティ上で合成する。 最後に、擬似ラベルに基づく2つのKL分割損失を用いて、対応するモダリティ固有エンコーダを更新する。
  論文  参考訳（メタデータ） (2020-12-28T02:37:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。