論文の概要: SmallGS: Gaussian Splatting-based Camera Pose Estimation for Small-Baseline Videos
- arxiv url: http://arxiv.org/abs/2504.17810v1
- Date: Tue, 22 Apr 2025 18:00:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.503875
- Title: SmallGS: Gaussian Splatting-based Camera Pose Estimation for Small-Baseline Videos
- Title（参考訳）: SmallGS:スモールベースラインビデオのためのガウススティングに基づくカメラポーズ推定
- Authors: Yuxin Yao, Yan Zhang, Zhening Huang, Joan Lasenby,
- Abstract要約: SmallGSは、小さなベースラインビデオ用に特別に設計されたカメラポーズ推定フレームワークである。
カメラのポーズを、明示的な特徴対応や強い視差の動きなしで学習する。
MonST3RやDORID-SLAMと比較して、ダイナミックなシーンでの小さなベースラインビデオと比較して、カメラのポーズ推定において印象的な精度を実現している。
- 参考スコア（独自算出の注目度）: 9.416105948337291
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dynamic videos with small baseline motions are ubiquitous in daily life, especially on social media. However, these videos present a challenge to existing pose estimation frameworks due to ambiguous features, drift accumulation, and insufficient triangulation constraints. Gaussian splatting, which maintains an explicit representation for scenes, provides a reliable novel view rasterization when the viewpoint change is small. Inspired by this, we propose SmallGS, a camera pose estimation framework that is specifically designed for small-baseline videos. SmallGS optimizes sequential camera poses using Gaussian splatting, which reconstructs the scene from the first frame in each video segment to provide a stable reference for the rest. The temporal consistency of Gaussian splatting within limited viewpoint differences reduced the requirement of sufficient depth variations in traditional camera pose estimation. We further incorporate pretrained robust visual features, e.g. DINOv2, into Gaussian splatting, where high-dimensional feature map rendering enhances the robustness of camera pose estimation. By freezing the Gaussian splatting and optimizing camera viewpoints based on rasterized features, SmallGS effectively learns camera poses without requiring explicit feature correspondences or strong parallax motion. We verify the effectiveness of SmallGS in small-baseline videos in TUM-Dynamics sequences, which achieves impressive accuracy in camera pose estimation compared to MonST3R and DORID-SLAM for small-baseline videos in dynamic scenes. Our project page is at: https://yuxinyao620.github.io/SmallGS
- Abstract（参考訳）: 小さなベースラインの動きを持つダイナミックビデオは、日常生活、特にソーシャルメディアで広く使われている。
しかし,これらのビデオは,不明瞭な特徴やドリフトの蓄積,三角測量の制約が不十分なため,既存のポーズ推定フレームワークに挑戦している。
シーンの明示的な表現を維持するガウススプラッティングは、視点の変化が小さいときに、信頼できる新しいビューラスタライズを提供する。
そこで本研究では,小型ビデオに特化して設計されたカメラポーズ推定フレームワークであるSmallGSを提案する。
SmallGSは、ガウススプラッティングを使用してシーケンシャルカメラのポーズを最適化し、各ビデオセグメントの第1フレームからシーンを再構成し、残りを安定的に参照する。
限定視点差におけるガウススプラッティングの時間的一貫性は、従来のカメラポーズ推定における十分な深さ変化の必要性を減らした。
さらに、DINOv2のような事前訓練された頑健な視覚特徴をガウススプラッティングに組み込み、高次元特徴写像のレンダリングにより、カメラポーズ推定の堅牢性を高める。
ガウススティングを凍結し、ラスタ化特徴に基づいてカメラの視点を最適化することにより、SmallGSは明示的な特徴対応や強いパララックス動作を必要とせずに、カメラのポーズを効果的に学習する。
我々は,TUM-Dynamicsシークエンスにおける小型ベースラインビデオにおけるSmallGSの有効性を検証し,ダイナミックシーンにおける小型ベースラインビデオに対するMonST3RとDORID-SLAMと比較して,カメラポーズ推定における印象的な精度を実現する。
私たちのプロジェクトページは以下の通りです。
関連論文リスト
- Large-scale visual SLAM for in-the-wild videos [28.58692815339531]
カジュアルビデオから3D再構成を改善するために,ロバストなパイプラインを導入する。
我々は近年の深部視覚計測法を基礎にしているが、いくつかの点で頑健性を高めている。
各種環境におけるオンラインビデオの大規模連続3Dモデルについて紹介する。
論文 参考訳（メタデータ） (2025-04-29T07:37:51Z) - TrackGS: Optimizing COLMAP-Free 3D Gaussian Splatting with Global Track Constraints [40.9371798496134]
マルチビュー幾何をグローバルに制約する機能トラックを組み込んだTrackGSを紹介する。
また、幾何整合性を改善するために、再投射と後方投射の誤差を最小化することを提案する。
内在性の勾配を導出することにより、カメラパラメータ推定と3DGSトレーニングを結合最適化フレームワークに統合する。
論文 参考訳（メタデータ） (2025-02-27T06:16:04Z) - RGB-Only Gaussian Splatting SLAM for Unbounded Outdoor Scenes [12.150995604820443]
3D Gaussian Splatting (3DGS) はSLAMにおいて高忠実性ノベルビューを生成するため、一般的なソリューションとなっている。
従来のGSベースの手法は主に屋内シーンをターゲットにしており、RGB-Dセンサーや事前訓練された深度推定モデルに依存している。
本稿では,RGBのみのガウススプラッティングSLAM法を提案する。
論文 参考訳（メタデータ） (2025-02-21T18:02:31Z) - FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction [59.77970844874235]
スパースビュー画像から高品質な3Dガウス画像を生成することができるフィードフォワード再構築フレームワークであるFreeSplatterを提案する。
FreeSplatterは、シーケンシャルな自己アテンションブロックで構成される、合理化されたトランスフォーマーアーキテクチャ上に構築されている。
テキスト・画像・3Dコンテンツ作成など,下流アプリケーションの生産性を高めるFreeSplatterの可能性を示す。
論文 参考訳（メタデータ） (2024-12-12T18:52:53Z) - No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - IncEventGS: Pose-Free Gaussian Splatting from a Single Event Camera [6.879406129086464]
IncEventGSは、単一のイベントカメラを備えたインクリメンタルな3Dガウススプレイティング再構成アルゴリズムである。
我々は,IncEventGSにおける従来のSLAMパイプラインの追跡とマッピングのパラダイムを活用する。
論文 参考訳（メタデータ） (2024-10-10T16:54:23Z) - SRPose: Two-view Relative Pose Estimation with Sparse Keypoints [51.49105161103385]
SRPoseは、カメラ・トゥ・ワールドおよびオブジェクト・トゥ・カメラシナリオにおける2ビュー相対ポーズ推定のためのスパースキーポイントベースのフレームワークである。
精度と速度の点で最先端の手法と比較して、競争力や優れた性能を達成する。
さまざまな画像サイズやカメラ固有の機能に対して堅牢であり、低コンピューティングリソースでデプロイすることができる。
論文 参考訳（メタデータ） (2024-07-11T05:46:35Z) - InstantSplat: Sparse-view Gaussian Splatting in Seconds [91.77050739918037]
InstantSplatは,光速でスパークビュー3Dシーンを再現する新しい手法である。
InstantSplatでは,3Dシーン表現とカメラポーズを最適化する,自己管理フレームワークを採用している。
3D-GSの従来のSfMと比較して、30倍以上の再現を達成し、視覚的品質(SSIM)を0.3755から0.7624に改善する。
論文 参考訳（メタデータ） (2024-03-29T17:29:58Z) - COLMAP-Free 3D Gaussian Splatting [88.420322646756]
本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。
入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。
提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-12-12T18:39:52Z) - MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。
本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
論文 参考訳（メタデータ） (2021-08-10T18:39:56Z) - CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects
from Point Clouds [97.63549045541296]
新規なリジッドオブジェクトインスタンスに対する9DoFポーズトラッキングと,関節付きオブジェクトに対するパート毎ポーズトラッキングを処理可能な統一フレームワークを提案する。
本手法は、高速なFPS 12で、カテゴリレベルのリジッドオブジェクトポーズ(NOCS-REAL275)と関節オブジェクトポーズベンチマーク(SAPIEN、BMVC)の最新のパフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-04-08T00:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。