論文の概要: 6DGS: 6D Pose Estimation from a Single Image and a 3D Gaussian Splatting Model

• arxiv url: http://arxiv.org/abs/2407.15484v1
• Date: Mon, 22 Jul 2024 08:55:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 15:31:05.327863
• Title: 6DGS: 6D Pose Estimation from a Single Image and a 3D Gaussian Splatting Model
• Title（参考訳）: 6DGS: 単一画像と3次元ガウス散乱モデルからの6次元ポス推定
• Authors: Matteo Bortolon, Theodore Tsesmelis, Stuart James, Fabio Poiesi, Alessio Del Bue,
• Abstract要約: シーンを表す3Dガウス・スティング(3DGS)モデルから,ターゲットRGB画像のカメラポーズを推定する6DGSを提案する。 6DGSは、分析バイシンセシス法で典型的な反復的なプロセスを避ける。 実際のシーンでは、平均回転精度を12%改善し、翻訳精度を22%向上させることができる。
• 参考スコア（独自算出の注目度）: 17.202161109957608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose 6DGS to estimate the camera pose of a target RGB image given a 3D Gaussian Splatting (3DGS) model representing the scene. 6DGS avoids the iterative process typical of analysis-by-synthesis methods (e.g. iNeRF) that also require an initialization of the camera pose in order to converge. Instead, our method estimates a 6DoF pose by inverting the 3DGS rendering process. Starting from the object surface, we define a radiant Ellicell that uniformly generates rays departing from each ellipsoid that parameterize the 3DGS model. Each Ellicell ray is associated with the rendering parameters of each ellipsoid, which in turn is used to obtain the best bindings between the target image pixels and the cast rays. These pixel-ray bindings are then ranked to select the best scoring bundle of rays, which their intersection provides the camera center and, in turn, the camera rotation. The proposed solution obviates the necessity of an "a priori" pose for initialization, and it solves 6DoF pose estimation in closed form, without the need for iterations. Moreover, compared to the existing Novel View Synthesis (NVS) baselines for pose estimation, 6DGS can improve the overall average rotational accuracy by 12% and translation accuracy by 22% on real scenes, despite not requiring any initialization pose. At the same time, our method operates near real-time, reaching 15fps on consumer hardware.
• Abstract（参考訳）: シーンを表す3Dガウス・スティング(3DGS)モデルから,ターゲットRGB画像のカメラポーズを推定する6DGSを提案する。 6DGSは、分析バイシンセシス法(例えばiNeRF)の典型的な反復過程を回避し、カメラのポーズを収束させるために初期化する必要がある。 その代わりに、3DGSレンダリング処理を反転させて6DoFのポーズを推定する。 対象物体表面から始めると、3DGSモデルのパラメータ化を行う楕円体から離射する線を均一に生成する放射型エリセルを定義する。 各エリセル線は、それぞれの楕円体のレンダリングパラメータに関連付けられ、それによって、ターゲット画像画素とキャスト線との最良の結合を得る。 これらのピクセル・レイ・バインドは、カメラ・センターとカメラ・ローテーションに最適なスコアリング・バンドルを選択するためにランク付けされる。 提案した解は、初期化のための"a priori"のポーズの必要性を排除し、反復を必要とせずに、6DoFのポーズ推定をクローズドな形で解決する。 さらに、ポーズ推定のための既存のノベルビュー合成(NVS)ベースラインと比較して、6DGSは、初期化ポーズを必要としないにも関わらず、実際のシーンで平均回転精度を12%改善し、翻訳精度を22%向上させることができる。 同時に、我々の手法は、ほぼリアルタイムで動作し、消費者ハードウェア上で15fpsに達する。

関連論文リスト

• Learning to Estimate 6DoF Pose from Limited Data: A Few-Shot, Generalizable Approach using RGB Images [60.0898989456276]
  本稿では,数ショットの6DoFポーズ推定のためのCas6Dという新しいフレームワークを提案する。 極めて少数の設定で対象物検出の偽陽性に対処するために,本フレームワークでは,自己教師付き事前学習型ViTを用いて,ロバストな特徴表現を学習する。 LINEMODとGenMOPデータセットの実験結果は、Cas6Dが32ショット設定で最先端の手法を9.2%、精度3.8%(Proj-5)で上回ることを示した。
  論文  参考訳（メタデータ） (2023-06-13T07:45:42Z)
• 6D Object Pose Estimation from Approximate 3D Models for Orbital Robotics [19.64111218032901]
  単一画像から物体の6次元ポーズを推定する新しい手法を提案する。 画素毎に3次元モデル座標を回帰する高密度な2次元から3次元対応予測器を用いる。 提案手法は,SPEED+データセット上での最先端性能を実現し,SPEC2021ポストモーテムコンペティションで優勝した。
  論文  参考訳（メタデータ） (2023-03-23T13:18:05Z)
• Coupled Iterative Refinement for 6D Multi-Object Pose Estimation [64.7198752089041]
  既知の3DオブジェクトのセットとRGBまたはRGB-Dの入力画像から、各オブジェクトの6Dポーズを検出して推定する。 我々のアプローチは、ポーズと対応を緊密に結合した方法で反復的に洗練し、アウトレーヤを動的に除去して精度を向上させる。
  論文  参考訳（メタデータ） (2022-04-26T18:00:08Z)
• Pose Estimation of Specific Rigid Objects [0.7931904787652707]
  本稿では,RGBまたはRGB-D入力画像から剛体物体の6次元ポーズを推定する問題に対処する。 この問題は、ロボット操作、拡張現実、自律運転など、多くの応用分野において非常に重要である。
  論文  参考訳（メタデータ） (2021-12-30T14:36:47Z)
• SO-Pose: Exploiting Self-Occlusion for Direct 6D Pose Estimation [98.83762558394345]
  SO-Poseは、オブジェクトの6自由度(6DoF)をすべて、単一のRGBイメージから散らばった環境でポーズさせるフレームワークである。 本稿では,3次元オブジェクトの2層表現を確立するために,自己閉塞に関する新たな推論を導入する。 対応性,自己閉塞性,6次元ポーズを整列する層間合成により,精度とロバスト性をさらに向上させることができる。
  論文  参考訳（メタデータ） (2021-08-18T19:49:29Z)
• CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects from Point Clouds [97.63549045541296]
  新規なリジッドオブジェクトインスタンスに対する9DoFポーズトラッキングと,関節付きオブジェクトに対するパート毎ポーズトラッキングを処理可能な統一フレームワークを提案する。 本手法は、高速なFPS 12で、カテゴリレベルのリジッドオブジェクトポーズ(NOCS-REAL275)と関節オブジェクトポーズベンチマーク(SAPIEN、BMVC)の最新のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-04-08T00:14:58Z)
• FS-Net: Fast Shape-based Network for Category-Level 6D Object Pose Estimation with Decoupled Rotation Mechanism [49.89268018642999]
  6次元ポーズ推定のための効率的なカテゴリレベルの特徴抽出が可能な高速形状ベースネットワーク(FS-Net)を提案する。 提案手法は,カテゴリレベルおよびインスタンスレベルの6Dオブジェクトのポーズ推定における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-03-12T03:07:24Z)
• PrimA6D: Rotational Primitive Reconstruction for Enhanced and Robust 6D Pose Estimation [11.873744190924599]
  本稿では,1つの画像を入力として,回転プリミティブに基づく6次元オブジェクトポーズ推定を提案する。 変分オートエンコーダ(VAE)を利用して、基礎となるプリミティブとその関連するキーポイントを学習する。 公開データセットに対して評価すると,LINEMOD,Occlusion LINEMOD,およびY誘発データセットよりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-14T03:55:42Z)
• Robust 6D Object Pose Estimation by Learning RGB-D Features [59.580366107770764]
  本稿では、この局所最適問題を解くために、回転回帰のための離散連続的な新しい定式化を提案する。 我々はSO(3)の回転アンカーを均一にサンプリングし、各アンカーから目標への制約付き偏差を予測し、最適な予測を選択するための不確実性スコアを出力する。 LINEMOD と YCB-Video の2つのベンチマーク実験により,提案手法が最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-02-29T06:24:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。