論文の概要: ReFlow6D: Refraction-Guided Transparent Object 6D Pose Estimation via Intermediate Representation Learning
- arxiv url: http://arxiv.org/abs/2412.20830v1
- Date: Mon, 30 Dec 2024 09:53:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-31 16:04:39.908684
- Title: ReFlow6D: Refraction-Guided Transparent Object 6D Pose Estimation via Intermediate Representation Learning
- Title（参考訳）: ReFlow6D: 中間表現学習による屈折誘導型透明物体6次元位置推定
- Authors: Hrishikesh Gupta, Stefan Thalhammer, Jean-Baptiste Weibel, Alexander Haberl, Markus Vincze,
- Abstract要約: 透明な物体6次元ポーズ推定のための新しい手法であるReFlow6Dを提案する。
従来の手法とは異なり,RGB画像空間の変化や深度情報に依存しない特徴空間を利用する。
ReFlow6Dは,RGB画像のみを入力として,透明物体の正確な6次元ポーズ推定を実現する。
- 参考スコア（独自算出の注目度）: 48.29147383536012
- License:
- Abstract: Transparent objects are ubiquitous in daily life, making their perception and robotics manipulation important. However, they present a major challenge due to their distinct refractive and reflective properties when it comes to accurately estimating the 6D pose. To solve this, we present ReFlow6D, a novel method for transparent object 6D pose estimation that harnesses the refractive-intermediate representation. Unlike conventional approaches, our method leverages a feature space impervious to changes in RGB image space and independent of depth information. Drawing inspiration from image matting, we model the deformation of the light path through transparent objects, yielding a unique object-specific intermediate representation guided by light refraction that is independent of the environment in which objects are observed. By integrating these intermediate features into the pose estimation network, we show that ReFlow6D achieves precise 6D pose estimation of transparent objects, using only RGB images as input. Our method further introduces a novel transparent object compositing loss, fostering the generation of superior refractive-intermediate features. Empirical evaluations show that our approach significantly outperforms state-of-the-art methods on TOD and Trans32K-6D datasets. Robot grasping experiments further demonstrate that ReFlow6D's pose estimation accuracy effectively translates to real-world robotics task. The source code is available at: https://github.com/StoicGilgamesh/ReFlow6D and https://github.com/StoicGilgamesh/matting_rendering.
- Abstract（参考訳）: 透明な物体は日常生活においてユビキタスであり、知覚とロボット操作が重要である。
しかし、6Dのポーズを正確に推定する際、屈折特性と反射特性が異なるため、大きな課題が生じる。
これを解決するために,屈折中間表現を利用した透明な物体6Dポーズ推定法であるReFlow6Dを提案する。
従来の手法とは異なり,RGB画像空間の変化や深度情報に依存しない特徴空間を利用する。
画像マッチングからインスピレーションを得て、透明な物体を通して光路の変形をモデル化し、物体が観察される環境に依存しない光屈折によって導かれるユニークな物体特異的中間表現を生成する。
これらの中間機能をポーズ推定ネットワークに統合することにより、RGB画像のみを入力として、ReFlow6Dが透明物体の正確な6次元ポーズ推定を実現することを示す。
さらに,新しい透明物体合成損失を導入し,優れた屈折中間体特性の創出を促進させる。
実験により,本手法はTODおよびTrans32K-6Dデータセットの最先端手法を著しく上回ることがわかった。
ロボットグルーピング実験により、ReFlow6Dのポーズ推定精度が現実のロボットタスクに効果的に変換されることが示された。
ソースコードは、https://github.com/StoicGilgamesh/ReFlow6Dとhttps://github.com/StoicGilgamesh/matting_renderingで入手できる。
関連論文リスト
- RDPN6D: Residual-based Dense Point-wise Network for 6Dof Object Pose Estimation Based on RGB-D Images [13.051302134031808]
単一のRGB-D画像を用いてオブジェクトの6DoFポーズを計算する新しい手法を提案する。
オブジェクトのポーズを直接予測する既存の手法や、ポーズ回復のためのスパースキーポイントに依存する既存の手法とは異なり、我々のアプローチは密度の高い対応を使ってこの課題に対処する。
論文 参考訳（メタデータ） (2024-05-14T10:10:45Z) - GenFlow: Generalizable Recurrent Flow for 6D Pose Refinement of Novel Objects [14.598853174946656]
我々は、新しいオブジェクトへの精度と一般化を可能にするアプローチであるGenFlowを提案する。
提案手法は, レンダリング画像と観察画像との間の光学的流れを予測し, 6次元ポーズを反復的に洗練する。
3次元形状の制約と、エンドツーエンドの微分システムから学習した一般化可能な幾何学的知識により、性能を向上させる。
論文 参考訳（メタデータ） (2024-03-18T06:32:23Z) - RGB-based Category-level Object Pose Estimation via Decoupled Metric
Scale Recovery [72.13154206106259]
本研究では、6次元のポーズとサイズ推定を分離し、不完全なスケールが剛性変換に与える影響を緩和するパイプラインを提案する。
具体的には,事前学習した単分子推定器を用いて局所的な幾何学的情報を抽出する。
別個のブランチは、カテゴリレベルの統計に基づいてオブジェクトのメートル法スケールを直接復元するように設計されている。
論文 参考訳（メタデータ） (2023-09-19T02:20:26Z) - Rigidity-Aware Detection for 6D Object Pose Estimation [60.88857851869196]
最近の6Dオブジェクトのポーズ推定方法は、最初にオブジェクト検出を使用して2Dバウンディングボックスを取得し、実際にポーズを回帰する。
本研究では,6次元ポーズ推定において対象物体が剛性であるという事実を利用した剛性認識検出手法を提案する。
このアプローチの成功の鍵となるのは可視性マップであり、これは境界ボックス内の各ピクセルとボックス境界の間の最小障壁距離を用いて構築することを提案する。
論文 参考訳（メタデータ） (2023-03-22T09:02:54Z) - Grasping the Inconspicuous [15.274311118568715]
本研究では,RGB画像からの深層学習による6次元ポーズ推定について検討した。
透明物体を把握するためのRGB画像空間の有効性を実験により実証した。
論文 参考訳（メタデータ） (2022-11-15T14:45:50Z) - CRT-6D: Fast 6D Object Pose Estimation with Cascaded Refinement
Transformers [51.142988196855484]
本稿では,CRT-6D(Cascaded Refinement Transformers)と呼ぶ新しい手法を提案する。
一般的に使用される高密度中間表現を,Os(Object Keypoint Features)と呼ばれる機能ピラミッドからサンプリングされた,各要素がオブジェクトキーポイントに対応するスパースな機能セットに置き換える。
一つのモデル上で最大21個のオブジェクトをサポートしながら,最も近いリアルタイム状態よりも2倍高速な推論を実現する。
論文 参考訳（メタデータ） (2022-10-21T04:06:52Z) - MonoGraspNet: 6-DoF Grasping with a Single RGB Image [73.96707595661867]
6-DoFロボットの把握は長続きするが未解決の問題だ。
近年の手法では3次元ネットワークを用いて深度センサから幾何的把握表現を抽出している。
我々はMonoGraspNetと呼ばれるRGBのみの6-DoFグルーピングパイプラインを提案する。
論文 参考訳（メタデータ） (2022-09-26T21:29:50Z) - RGB-D Local Implicit Function for Depth Completion of Transparent
Objects [43.238923881620494]
ロボット工学における認識方法の大部分は、RGB-Dカメラが提供する深度情報を必要とする。
標準的な3Dセンサーは、屈折と光の吸収により透明な物体の深さを捉えられない。
ノイズの多いRGB-D入力を考慮し,欠損深度を完備できる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-01T17:00:04Z) - Spatial Attention Improves Iterative 6D Object Pose Estimation [52.365075652976735]
本稿では,RGB画像を用いた6次元ポーズ推定の改良手法を提案する。
私たちの主な洞察力は、最初のポーズ推定の後、オブジェクトの異なる空間的特徴に注意を払うことが重要です。
実験により,このアプローチが空間的特徴に順応することを学び,被写体の一部を無視することを学び,データセット間でのポーズ推定を改善することを実証した。
論文 参考訳（メタデータ） (2021-01-05T17:18:52Z) - Object 6D Pose Estimation with Non-local Attention [29.929911622127502]
本研究では,オブジェクト検出フレームワークに6次元オブジェクトポーズパラメータ推定を組み込むネットワークを提案する。
提案手法は,YCB- VideoおよびLinemodデータセット上での最先端性能に到達する。
論文 参考訳（メタデータ） (2020-02-20T14:23:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。