論文の概要: TransTouch: Learning Transparent Objects Depth Sensing Through Sparse Touches

• arxiv url: http://arxiv.org/abs/2309.09427v1
• Date: Mon, 18 Sep 2023 01:55:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 15:31:32.898817
• Title: TransTouch: Learning Transparent Objects Depth Sensing Through Sparse Touches
• Title（参考訳）: TransTouch:スパースタッチで透明な物体の深度を学習する
• Authors: Liuyu Bian, Pengyang Shi, Weihang Chen, Jing Xu, Li Yi, Rui Chen
• Abstract要約: 本研究では,触覚フィードバックを持つ探索システムを用いて,疎深度ラベルを自動収集したステレオネットワークを微調整する手法を提案する。 提案手法は,特に透明物体に対して,現実世界の深度検出精度を大幅に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 23.87056600709768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transparent objects are common in daily life. However, depth sensing for transparent objects remains a challenging problem. While learning-based methods can leverage shape priors to improve the sensing quality, the labor-intensive data collection in the real world and the sim-to-real domain gap restrict these methods' scalability. In this paper, we propose a method to finetune a stereo network with sparse depth labels automatically collected using a probing system with tactile feedback. We present a novel utility function to evaluate the benefit of touches. By approximating and optimizing the utility function, we can optimize the probing locations given a fixed touching budget to better improve the network's performance on real objects. We further combine tactile depth supervision with a confidence-based regularization to prevent over-fitting during finetuning. To evaluate the effectiveness of our method, we construct a real-world dataset including both diffuse and transparent objects. Experimental results on this dataset show that our method can significantly improve real-world depth sensing accuracy, especially for transparent objects.
• Abstract（参考訳）: 透明な物体は日常生活で一般的です。 しかし、透明物体の深度検出は依然として困難な問題である。 学習に基づく手法は、シェイププリエントを活用して、センシング品質を改善することができるが、実世界の労働集約型データ収集とsim-to-realドメインギャップは、これらの方法のスケーラビリティを制限する。 本稿では,触覚フィードバックを用いたプローブシステムを用いて,奥行きラベルのばらばらなステレオネットワークを自動収集する手法を提案する。 触覚の利点を評価するための新しいユーティリティ機能を提案する。 ユーティリティ関数の近似と最適化により、固定されたタッチ予算を与えられた探索位置を最適化し、実際のオブジェクトにおけるネットワークの性能を改善することができる。 さらに,触覚奥行き監視と信頼度に基づく正則化を組み合わせることで,微調整時の過剰フィッティングを防止する。 本手法の有効性を評価するため,拡散オブジェクトと透明オブジェクトの両方を含む実世界のデータセットを構築した。 このデータセットにおける実験結果は,特に透明な物体に対して,実世界の深度センシング精度を著しく向上できることを示した。

関連論文リスト

• SurANet: Surrounding-Aware Network for Concealed Object Detection via Highly-Efficient Interactive Contrastive Learning Strategy [55.570183323356964]
  本稿では,隠蔽物体検出のための新しいSurrounding-Aware Network,すなわちSurANetを提案する。 周辺特徴の差分融合を用いて特徴写像のセマンティクスを強化し,隠蔽対象の強調を行う。 次に、周囲の特徴写像を対照的に学習することで隠蔽対象を識別するために、周囲のコントラストロスを適用した。
  論文  参考訳（メタデータ） (2024-10-09T13:02:50Z)
• ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation [18.140839442955485]
  我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。 提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。 実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-09-13T15:44:38Z)
• RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface Normal Estimation and Manipulation [50.10282876199739]
  本稿では、透明物体の表面正規化と操作のためのRGB-Dに基づくRFTransを提案する。 RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。 現実のロボットがタスクをつかむと、成功率は83%となり、屈折流が直接シミュレートから現実への移動を可能にすることが証明される。
  論文  参考訳（メタデータ） (2023-11-21T07:19:47Z)
• Transparent Object Tracking with Enhanced Fusion Module [56.403878717170784]
  我々は,我々の融合技術を用いて,透明物体追跡のための優れた結果を得る新しいトラッカーアーキテクチャを提案する。 我々の結果とコードの実装はhttps://github.com/kalyan05TOTEM.comで公開されます。
  論文  参考訳（メタデータ） (2023-09-13T03:52:09Z)
• AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
  ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。 我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T16:54:38Z)
• High-resolution Iterative Feedback Network for Camouflaged Object Detection [128.893782016078]
  カモフラージュされたオブジェクトを背景に視覚的に同化させることは、オブジェクト検出アルゴリズムにとって難しい。 エッジやバウンダリのぼやけた視界を生じさせる細部劣化を避けるために,高分解能テクスチャの詳細を抽出することを目的としている。 我々は,高解像度特徴量による低解像度表現を反復的フィードバック方式で洗練する新しいHitNetを提案する。
  論文  参考訳（メタデータ） (2022-03-22T11:20:21Z)
• TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth Completion and Grasping [46.6058840385155]
  我々は、透明な物体深度を補完する大規模な実世界のデータセットをコントリビュートする。 データセットには、130の異なるシーンから57,715枚のRGB-D画像が含まれている。 本稿では,RGB画像と不正確な深度マップを入力とし,精細化された深度マップを出力するエンド・ツー・エンドの深度補完ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-02-17T06:50:20Z)
• Self-Guided Instance-Aware Network for Depth Completion and Enhancement [6.319531161477912]
  既存の手法では,画素ワイド画像の内容とそれに対応する近傍の深度値に基づいて,欠落した深度測定を直接補間する。 本稿では、自己誘導機構を利用して、深度復元に必要なインスタンスレベルの特徴を抽出する自己誘導型インスタンス認識ネットワーク(SG-IANet)を提案する。
  論文  参考訳（メタデータ） (2021-05-25T19:41:38Z)
• FakeMix Augmentation Improves Transparent Object Detection [24.540569928274984]
  境界関係の不均衡問題を克服するために、FakeMixと呼ばれる新しいコンテンツ依存データ拡張法を提案する。 また,マルチスケールおよびクロスモダリティ機能を動的にキャプチャ可能な,asppの拡張版であるadaptiveasppも紹介する。
  論文  参考訳（メタデータ） (2021-03-24T15:51:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。