論文の概要: GS2Pose: Two-stage 6D Object Pose Estimation Guided by Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2411.03807v3
• Date: Fri, 08 Nov 2024 03:02:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 11:36:13.013380
• Title: GS2Pose: Two-stage 6D Object Pose Estimation Guided by Gaussian Splatting
• Title（参考訳）: GS2Pose:ガウススプレイティングでガイドされた2段6Dオブジェクトポス推定
• Authors: Jilan Mei, Junbo Li, Cai Meng,
• Abstract要約: 本稿では,GS2Pose と呼ばれる新しい物体の高精度でロバストな6次元ポーズ推定法を提案する。 GS2Poseは3次元ガウススプラッティングを導入することで,高品質CADモデルを必要とせずに再構成結果を利用することができる。 GS2Poseのコードは、間もなくGitHubでリリースされる。
• 参考スコア（独自算出の注目度）: 4.465134753953128
• License:
• Abstract: This paper proposes a new method for accurate and robust 6D pose estimation of novel objects, named GS2Pose. By introducing 3D Gaussian splatting, GS2Pose can utilize the reconstruction results without requiring a high-quality CAD model, which means it only requires segmented RGBD images as input. Specifically, GS2Pose employs a two-stage structure consisting of coarse estimation followed by refined estimation. In the coarse stage, a lightweight U-Net network with a polarization attention mechanism, called Pose-Net, is designed. By using the 3DGS model for supervised training, Pose-Net can generate NOCS images to compute a coarse pose. In the refinement stage, GS2Pose formulates a pose regression algorithm following the idea of reprojection or Bundle Adjustment (BA), referred to as GS-Refiner. By leveraging Lie algebra to extend 3DGS, GS-Refiner obtains a pose-differentiable rendering pipeline that refines the coarse pose by comparing the input images with the rendered images. GS-Refiner also selectively updates parameters in the 3DGS model to achieve environmental adaptation, thereby enhancing the algorithm's robustness and flexibility to illuminative variation, occlusion, and other challenging disruptive factors. GS2Pose was evaluated through experiments conducted on the LineMod dataset, where it was compared with similar algorithms, yielding highly competitive results. The code for GS2Pose will soon be released on GitHub.
• Abstract（参考訳）: 本稿では,GS2Pose と呼ばれる新しい物体の高精度でロバストな6次元ポーズ推定法を提案する。 GS2Poseは3Dガウススプラッティングを導入することで,高品質CADモデルを必要とせずに再構成結果を利用することができる。 具体的には、GS2Poseは粗い推定と洗練された推定からなる2段階構造を用いる。 粗い段階では、Pose-Netと呼ばれる偏光注意機構を備えた軽量なU-Netネットワークが設計されている。 教師付きトレーニングに3DGSモデルを使用することで、Pose-NetはNOCS画像を生成して粗いポーズを計算することができる。 改良段階において、GS2Poseは、GS-Refinerと呼ばれる再計画またはバンドル調整(BA)のアイデアに従って、ポーズ回帰アルゴリズムを定式化する。 GS-Refinerはリー代数を利用して3DGSを拡張することで、入力画像と描画画像を比較して粗いポーズを洗練するポーズ微分可能なレンダリングパイプラインを得る。 GS-Refinerはまた、環境適応を達成するために3DGSモデルのパラメータを選択的に更新する。 GS2PoseはLineModデータセットで行った実験で評価され、同様のアルゴリズムと比較され、非常に競争力のある結果を得た。 GS2Poseのコードは、間もなくGitHubでリリースされる。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• GS-Net: Generalizable Plug-and-Play 3D Gaussian Splatting Module [19.97023389064118]
  粗いSfM点雲からガウス楕円体を密度化する3DGSモジュールであるGS-Netを提案する。 実験により、GS-Netを3DGSに適用すると、従来の視点では2.08dB、新しい視点では1.86dBのPSNR改善が得られることが示された。
  論文  参考訳（メタデータ） (2024-09-17T16:03:19Z)
• GSLoc: Efficient Camera Pose Refinement via 3D Gaussian Splatting [25.780452115246245]
  本稿では,新しいテストタイムカメラ・ポーズ・リファインメントフレームワークGSLocを提案する。 このフレームワークは、最先端の絶対ポーズ回帰とシーン座標回帰法の局所化精度を高める。 GSLocは、RGBイメージを直接操作することで、特徴抽出器や記述器をトレーニングする必要がなくなる。
  論文  参考訳（メタデータ） (2024-08-20T17:58:23Z)
• R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction [53.19869886963333]
  3次元ガウススプラッティング(3DGS)は画像のレンダリングと表面再構成において有望な結果を示した。 本稿では,Sparse-viewトモグラフィ再構成のための3DGSベースのフレームワークであるR2$-Gaussianを紹介する。
  論文  参考訳（メタデータ） (2024-05-31T08:39:02Z)
• LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
  本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。 実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T05:58:34Z)
• GS-Pose: Generalizable Segmentation-based 6D Object Pose Estimation with 3D Gaussian Splatting [23.724077890247834]
  GS-Poseは、新しいオブジェクトの6Dポーズをローカライズし、推定するためのフレームワークである。 オブジェクトを入力画像に配置し、最初の6Dポーズを推定し、レンダリング・アンド・コンペア法でポーズを精算することで順次動作する。 市販のツールチェーンや携帯電話などのコモディティハードウェアを使用して、データベースに追加される新しいオブジェクトをキャプチャすることができる。
  論文  参考訳（メタデータ） (2024-03-15T21:06:14Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• Green Steganalyzer: A Green Learning Approach to Image Steganalysis [30.486433532000344]
  Green Steganalyzer (GS)は、グリーンラーニングパラダイムに基づいた画像ステガナリシスの学習ソリューションである。 GSは3つのモジュールで構成されている: ピクセルベースの異常予測、2)埋め込み位置検出、3)画像レベルの検出のための決定融合である。
  論文  参考訳（メタデータ） (2023-06-06T20:43:07Z)
• CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network [66.24726878647543]
  単一のRGB画像から固い物体の6-DoFのポーズを推定することは、非常に難しい課題である。 近年の研究では、高密度対応型解の大きな可能性を示している。 そこで本研究では,CheckerPoseというポーズ推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-29T17:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。