論文の概要: GSGTrack: Gaussian Splatting-Guided Object Pose Tracking from RGB Videos

• arxiv url: http://arxiv.org/abs/2412.02267v1
• Date: Tue, 03 Dec 2024 08:38:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:42:21.128515
• Title: GSGTrack: Gaussian Splatting-Guided Object Pose Tracking from RGB Videos
• Title（参考訳）: GSGTrack:RGB動画からのガウシアンスティングガイド付きオブジェクトポッド追跡
• Authors: Zhiyuan Chen, Fan Lu, Guo Yu, Bin Li, Sanqing Qu, Yuan Huang, Changhong Fu, Guang Chen,
• Abstract要約: 本稿では,新しいRGBベースのポーズトラッキングフレームワークであるGSGTrackを紹介する。 トラッキング中のノイズに過度に敏感な画素ワイド損失の問題に対処するために,物体のシルエット損失を提案する。 OnePoseとHO3Dの実験では、6DoFのポーズトラッキングとオブジェクト再構成の両方においてGSGTrackの有効性が示されている。
• 参考スコア（独自算出の注目度）: 18.90495041083675
• License:
• Abstract: Tracking the 6DoF pose of unknown objects in monocular RGB video sequences is crucial for robotic manipulation. However, existing approaches typically rely on accurate depth information, which is non-trivial to obtain in real-world scenarios. Although depth estimation algorithms can be employed, geometric inaccuracy can lead to failures in RGBD-based pose tracking methods. To address this challenge, we introduce GSGTrack, a novel RGB-based pose tracking framework that jointly optimizes geometry and pose. Specifically, we adopt 3D Gaussian Splatting to create an optimizable 3D representation, which is learned simultaneously with a graph-based geometry optimization to capture the object's appearance features and refine its geometry. However, the joint optimization process is susceptible to perturbations from noisy pose and geometry data. Thus, we propose an object silhouette loss to address the issue of pixel-wise loss being overly sensitive to pose noise during tracking. To mitigate the geometric ambiguities caused by inaccurate depth information, we propose a geometry-consistent image pair selection strategy, which filters out low-confidence pairs and ensures robust geometric optimization. Extensive experiments on the OnePose and HO3D datasets demonstrate the effectiveness of GSGTrack in both 6DoF pose tracking and object reconstruction.
• Abstract（参考訳）: モノクロのRGBビデオシーケンスで未知の物体の6DoFのポーズを追跡することは、ロボット操作に不可欠である。 しかし、既存のアプローチは一般的に正確な深度情報に依存しており、これは現実のシナリオでは得られない。 深さ推定アルゴリズムを用いることができるが、幾何学的不正確さはRGBDベースのポーズトラッキング手法の失敗につながる可能性がある。 この課題に対処するため,新しいRGBベースのポーズトラッキングフレームワークであるGSGTrackを紹介した。 具体的には,3次元ガウススプラッティングを用いて3次元表現を最適化し,グラフに基づく幾何最適化と同時に学習し,オブジェクトの外観特徴を捉え,その幾何学を洗練させる。 しかし、結合最適化プロセスは、ノイズの多いポーズや幾何学的データからの摂動に影響を受けやすい。 そこで本研究では,トラッキング中のノイズに過度に敏感な画素損失の問題に対処するために,オブジェクトシルエット損失を提案する。 不正確な深度情報による幾何学的曖昧さを軽減するため,低信頼度対をフィルタし,ロバストな幾何的最適化を実現する幾何一貫性画像対選択法を提案する。 OnePoseとHO3Dデータセットの大規模な実験は、GSGTrackの有効性を6DoFのポーズトラッキングとオブジェクト再構成の両方で実証している。

関連論文リスト

• GeomGS: LiDAR-Guided Geometry-Aware Gaussian Splatting for Robot Localization [20.26969580492428]
  我々はGeomGS(Geometry-Aware Gaussian Splatting)と呼ばれる新しい3DGS法を提案する。 我々のGeomGSは、幾何および局所化性能をいくつかのベンチマークで示すとともに、測光性能も改善している。
  論文  参考訳（メタデータ） (2025-01-23T06:43:38Z)
• EGP3D: Edge-guided Geometric Preserving 3D Point Cloud Super-resolution for RGB-D camera [42.84553578230384]
  RGB-Dカメラに適したエッジガイド型3次元点雲超解像法(EGP3D)を提案する。 提案手法は,投影された2次元空間のエッジ制約を伴って点雲を革新的に最適化することにより,3次元PCSRタスクにおける高品質なエッジ保存を実現する。
  論文  参考訳（メタデータ） (2024-12-16T11:42:25Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
  従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。 本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:23:08Z)
• GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
  GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。 従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。 GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2024-06-21T17:49:31Z)
• Trim 3D Gaussian Splatting for Accurate Geometry Representation [72.00970038074493]
  画像から正確な3次元形状を復元するためにTrim 3D Gaussian Splatting (TrimGS)を導入する。 実験および理論的解析により、比較的小さなガウススケールが複雑な詳細を表現・最適化する非無視因子であることが判明した。 元の3DGSと最先端の2DGSと組み合わせると、TrimGSは一貫してより正確な幾何学と高い知覚品質が得られる。
  論文  参考訳（メタデータ） (2024-06-11T17:34:46Z)
• Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot Images [47.14713579719103]
  オーバーフィッティングを緩和するための幾何ガイドとして,密集深度マップを導入する。 調整された深度は3Dガウススプラッティングのカラーベース最適化に有効である。 提案手法は,NeRF-LLFFデータセット上で,少ない画像数で検証する。
  論文  参考訳（メタデータ） (2023-11-22T13:53:04Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Coupled Iterative Refinement for 6D Multi-Object Pose Estimation [64.7198752089041]
  既知の3DオブジェクトのセットとRGBまたはRGB-Dの入力画像から、各オブジェクトの6Dポーズを検出して推定する。 我々のアプローチは、ポーズと対応を緊密に結合した方法で反復的に洗練し、アウトレーヤを動的に除去して精度を向上させる。
  論文  参考訳（メタデータ） (2022-04-26T18:00:08Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。