論文の概要: Visual-tactile Fusion for Transparent Object Grasping in Complex Backgrounds
- arxiv url: http://arxiv.org/abs/2211.16693v2
- Date: Sat, 8 Jun 2024 10:26:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 06:08:09.390736
- Title: Visual-tactile Fusion for Transparent Object Grasping in Complex Backgrounds
- Title（参考訳）: 複雑な背景を持つ透明物体グラフプのための視覚触覚融合
- Authors: Shoujie Li, Haixin Yu, Wenbo Ding, Houde Liu, Linqi Ye, Chongkun Xia, Xueqian Wang, Xiao-Ping Zhang,
- Abstract要約: 透明物体把握のための視覚触覚融合フレームワークを提案する。
把握位置検出、触覚キャリブレーション、視覚触覚融合に基づく分類が含まれる。
提案フレームワークは,視覚と触覚の利点を相乗化し,透明物体の把握効率を大幅に向上させる。
- 参考スコア（独自算出の注目度）: 12.449232689517538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The accurate detection and grasping of transparent objects are challenging but of significance to robots. Here, a visual-tactile fusion framework for transparent object grasping under complex backgrounds and variant light conditions is proposed, including the grasping position detection, tactile calibration, and visual-tactile fusion based classification. First, a multi-scene synthetic grasping dataset generation method with a Gaussian distribution based data annotation is proposed. Besides, a novel grasping network named TGCNN is proposed for grasping position detection, showing good results in both synthetic and real scenes. In tactile calibration, inspired by human grasping, a fully convolutional network based tactile feature extraction method and a central location based adaptive grasping strategy are designed, improving the success rate by 36.7% compared to direct grasping. Furthermore, a visual-tactile fusion method is proposed for transparent objects classification, which improves the classification accuracy by 34%. The proposed framework synergizes the advantages of vision and touch, and greatly improves the grasping efficiency of transparent objects.
- Abstract（参考訳）: 透明物体の正確な検出と把握は難しいが、ロボットにとって重要である。
ここでは、複雑な背景と異なる光条件下での透明物体の把握のための視覚触覚融合フレームワークを提案し、把握位置検出、触覚キャリブレーション、視覚触覚融合に基づく分類を行った。
まず,ガウス分布に基づくデータアノテーションを用いたマルチシーン合成把握データセット生成手法を提案する。
さらに,TGCNNという新たな把握ネットワークを提案し,合成シーンと実シーンの両方で良好な結果が得られた。
人間のつかみにインスパイアされた触覚キャリブレーションにおいて、完全な畳み込みネットワークに基づく触覚特徴抽出法と中央位置に基づく適応的把握戦略を設計し、直接つかみよりも成功率を36.7%向上させる。
さらに,透明物体分類のための視覚触覚融合法を提案し,その精度を34%向上させた。
提案フレームワークは,視覚と触覚の利点を相乗化し,透明物体の把握効率を大幅に向上させる。
関連論文リスト
- Visual Fixation-Based Retinal Prosthetic Simulation [1.0075717342698087]
固定ベースのフレームワークは、実際の被験者の生理的データに基づく計算パラメータを用いて、87.72%の分類精度を達成する。
我々のアプローチは、網膜補綴学で利用可能な限られた解像度で、より意味論的に理解可能なパーセプションを作り出す可能性を示唆している。
論文 参考訳（メタデータ） (2024-10-15T15:24:08Z) - TraIL-Det: Transformation-Invariant Local Feature Networks for 3D LiDAR Object Detection with Unsupervised Pre-Training [21.56675189346088]
本稿では変換不変ローカル(TraIL)機能と関連するTraIL-Detアーキテクチャを紹介する。
TraILの特徴は、厳密な変換不変性を示し、点密度の変動に効果的に適応する。
彼らはLiDARの固有の等方性放射を利用して局所的な表現を強化する。
提案手法は,KITTI上のmAPを用いて,現代自己監督型3次元物体検出手法より優れている。
論文 参考訳（メタデータ） (2024-08-25T17:59:17Z) - Hardness-Aware Scene Synthesis for Semi-Supervised 3D Object Detection [59.33188668341604]
3次元物体検出は、自律運転知覚の基本的なタスクとして機能する。
ポイントクラウドデータのための高品質なアノテーションを得るためには、コストがかかる。
本稿では,適応型合成シーンを生成するために,ハードネス対応シーン合成(HASS)手法を提案する。
論文 参考訳（メタデータ） (2024-05-27T17:59:23Z) - Frequency Perception Network for Camouflaged Object Detection [51.26386921922031]
周波数領域のセマンティック階層によって駆動される新しい学習可能かつ分離可能な周波数知覚機構を提案する。
ネットワーク全体では、周波数誘導粗い局所化ステージと細部保存の微細局在化ステージを含む2段階モデルを採用している。
提案手法は,既存のモデルと比較して,3つのベンチマークデータセットにおいて競合性能を実現する。
論文 参考訳（メタデータ） (2023-08-17T11:30:46Z) - View Consistent Purification for Accurate Cross-View Localization [59.48131378244399]
本稿では,屋外ロボットのための微細な自己局在化手法を提案する。
提案手法は,既存のクロスビューローカライゼーション手法の限界に対処する。
これは、動的環境における知覚を増強する初めての疎視のみの手法である。
論文 参考訳（メタデータ） (2023-08-16T02:51:52Z) - Large-scale and Efficient Texture Mapping Algorithm via Loopy Belief
Propagation [4.742825811314168]
テクスチャマッピングアルゴリズムは、これらのビューからメッシュモデルへのビュー、ヒューズ、およびマップテクスチャを効率的に選択できなければならない。
既存のアプローチでは、画像の数を1つのビューに制限するか、グローバルな推論を単純化して局所的な色の一貫性を達成している。
本稿では,顔ごとのテクスチャの複数のビューを利用できる新しい,効率的なテクスチャマッピングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-08T15:11:28Z) - VisTaNet: Attention Guided Deep Fusion for Surface Roughness
Classification [0.0]
本稿では,既存の触覚データセットを付加した視覚データセットを提案する。
4種類の融合戦略を用いて視覚・触覚データを融合する新しい深層融合アーキテクチャを提案する。
本モデルでは触覚のみに比べて表面粗さ分類精度が97.22%向上した。
論文 参考訳（メタデータ） (2022-09-18T09:37:06Z) - Voxel Field Fusion for 3D Object Detection [140.6941303279114]
本稿では,3次元オブジェクト検出のための概念的にシンプルなフレームワークであるvoxel field fusionを提案する。
提案手法は, ボクセル領域における画像特徴を線として表現し, 融合することにより, モダリティの整合性を維持することを目的としている。
このフレームワークは、さまざまなベンチマークで一貫したゲインを達成し、KITTIとnuScenesデータセットでの従来のフュージョンベースのメソッドを上回っている。
論文 参考訳（メタデータ） (2022-05-31T16:31:36Z) - Progressive Coordinate Transforms for Monocular 3D Object Detection [52.00071336733109]
本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
論文 参考訳（メタデータ） (2021-08-12T15:22:33Z) - Generative Partial Visual-Tactile Fused Object Clustering [81.17645983141773]
オブジェクトクラスタリングのためのGenerative Partial Visual-Tactile Fused(GPVTF)フレームワークを提案する。
条件付きクロスモーダルクラスタリング生成逆ネットワークを開発し、一方のモダリティ条件を他方のモダリティ上で合成する。
最後に、擬似ラベルに基づく2つのKL分割損失を用いて、対応するモダリティ固有エンコーダを更新する。
論文 参考訳（メタデータ） (2020-12-28T02:37:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。