論文の概要: Towards Better Robustness: Progressively Joint Pose-3DGS Learning for Arbitrarily Long Videos

• arxiv url: http://arxiv.org/abs/2501.15096v1
• Date: Sat, 25 Jan 2025 06:02:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:56:44.424321
• Title: Towards Better Robustness: Progressively Joint Pose-3DGS Learning for Arbitrarily Long Videos
• Title（参考訳）: プログレッシブなロバストネスを目指して : 任意長ビデオの3DGS学習
• Authors: Zhen-Hui Dong, Sheng Ye, Yu-Hui Wen, Nannan Li, Yong-Jin Liu,
• Abstract要約: 3D Gaussian Splatting (3DGS) はその効率性と高忠実性レンダリングのために強力な表現として登場した。 3DGSのトレーニングには、おもにStructure-from-Motion (SfM)パイプラインによって得られる、入力ビュー毎に既知のカメラのポーズが必要である。 我々は、カメラのポーズを段階的に推定し、3DGSを任意に長いビデオシーケンスに最適化する頑健なフレームワークであるRob-GSを提案する。
• 参考スコア（独自算出の注目度）: 24.959777640700178
• License:
• Abstract: 3D Gaussian Splatting (3DGS) has emerged as a powerful representation due to its efficiency and high-fidelity rendering. However, 3DGS training requires a known camera pose for each input view, typically obtained by Structure-from-Motion (SfM) pipelines. Pioneering works have attempted to relax this restriction but still face difficulties when handling long sequences with complex camera trajectories. In this work, we propose Rob-GS, a robust framework to progressively estimate camera poses and optimize 3DGS for arbitrarily long video sequences. Leveraging the inherent continuity of videos, we design an adjacent pose tracking method to ensure stable pose estimation between consecutive frames. To handle arbitrarily long inputs, we adopt a "divide and conquer" scheme that adaptively splits the video sequence into several segments and optimizes them separately. Extensive experiments on the Tanks and Temples dataset and our collected real-world dataset show that our Rob-GS outperforms the state-of-the-arts.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS) はその効率性と高忠実性レンダリングのために強力な表現として登場した。 しかし、3DGSのトレーニングでは、通常、Structure-from-Motion (SfM)パイプラインによって得られる、入力ビュー毎に既知のカメラのポーズが必要である。 パイオニアリングは、この制限を緩和しようと試みてきたが、複雑なカメラ軌道で長いシーケンスを扱う際にはまだ困難に直面している。 本稿では、カメラのポーズを段階的に推定し、3DGSを任意に長いビデオシーケンスに最適化する頑健なフレームワークであるRob-GSを提案する。 映像の連続性を利用して、連続するフレーム間の安定的なポーズ推定を保証するために、隣接するポーズ追跡法を設計する。 任意に長い入力を処理するために、ビデオシーケンスを複数のセグメントに適応的に分割し、個別に最適化する「分割と征服」方式を採用する。 Tanks and Templesデータセットと収集した実世界のデータセットに関する大規模な実験は、Rob-GSが最先端技術を上回っていることを示している。

関連論文リスト

• KeyGS: A Keyframe-Centric Gaussian Splatting Method for Monocular Image Sequences [14.792295042683254]
  深度やマッチングモデルなしで動作可能な,効率的なフレームワークを提案する。 そこで本研究では,細かな周波数認識による粗大な密度密度化を提案し,異なるレベルの詳細を再構築する。
  論文  参考訳（メタデータ） (2024-12-30T07:32:35Z)
• Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [64.38566659338751]
  Deblur4DGSという,ぼやけたモノクロビデオから高品質な4Dモデルを再構成するための,最初の4Dガウス分割フレームワークを提案する。 本稿では,多面的,多面的整合性,多面的,多面的,多面的な整合性を実現するために露光規則化を導入し,斬新な視点以外では,デブレア4DGSは,デブロアリング,フレーム合成,ビデオ安定化など,多面的な視点からぼやけた映像を改善するために応用できる。
  論文  参考訳（メタデータ） (2024-12-09T12:02:11Z)
• SfM-Free 3D Gaussian Splatting via Hierarchical Training [42.85362760049813]
  本研究では、ビデオ入力のための新しいSfM-Free 3DGS(SFGS)手法を提案し、既知のカメラポーズやSfM前処理の必要性を排除した。 提案手法では,複数の3次元ガウス表現を1つの統一3DGSモデルに訓練・統合する階層的学習戦略を導入する。 実験の結果,本手法は最先端のSfMフリー新規ビュー合成法を大きく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-02T14:39:06Z)
• SplatFlow: Multi-View Rectified Flow Model for 3D Gaussian Splatting Synthesis [19.351291267779416]
  SplatFlowは3DGSの直接生成と編集を可能にする包括的フレームワークである。 SplatFlowは、マルチビュー整流(RF)モデルとガウス整流デコーダ(GSDecoder)の2つの主要コンポーネントから構成される。 我々は、MVImgNetとDL3DV-7Kデータセット上でSplatFlowの能力を検証し、様々な3D生成、編集、塗装に基づくタスクにおいて、その汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2024-11-25T14:46:17Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• Look Gauss, No Pose: Novel View Synthesis using Gaussian Splatting without Accurate Pose Initialization [11.418632671254564]
  3D Gaussian Splattingは、一連の入力画像から高速で正確なノベルビュー合成のための強力なツールとして登場した。 本稿では, 外部カメラパラメータを測光残差に対して最適化することにより, 3次元ガウス散乱フレームワークの拡張を提案する。 シミュレーション環境を通して実世界のシーンと複雑な軌道について結果を示す。
  論文  参考訳（メタデータ） (2024-10-11T12:01:15Z)
• Enhancing Temporal Consistency in Video Editing by Reconstructing Videos with 3D Gaussian Splatting [94.84688557937123]
  Video-3DGSは、ゼロショットビデオエディタの時間的一貫性を高めるために設計された3Dガウススプラッティング(3DGS)ベースのビデオ精細機である。 本手法は動的モノクロビデオの編集に適した2段階の3次元ガウス最適化プロセスを利用する。 58の動的モノクロビデオ間の時間的一貫性を確保することで、ビデオ編集を強化する。
  論文  参考訳（メタデータ） (2024-06-04T17:57:37Z)
• Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
  本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。 合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
  論文  参考訳（メタデータ） (2024-03-20T06:19:41Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.56357905500512]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• PointOdyssey: A Large-Scale Synthetic Dataset for Long-Term Point Tracking [90.29143475328506]
  本稿では,大規模合成データセットとデータ生成フレームワークであるPointOdysseyを紹介する。 私たちのゴールは、自然主義的な動きを持つ長いビデオに重点を置いて、最先端の技術を推し進めることです。 実世界のモーションキャプチャーデータを用いて変形可能なキャラクタをアニメーション化し、モーションキャプチャー環境に合わせて3Dシーンを構築し、リアルビデオ上で構造から抽出したトラジェクトリを用いてカメラ視点を描画する。
  論文  参考訳（メタデータ） (2023-07-27T17:58:11Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。