論文の概要: COLMAP-Free 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2312.07504v1
• Date: Tue, 12 Dec 2023 18:39:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 14:52:38.004796
• Title: COLMAP-Free 3D Gaussian Splatting
• Title（参考訳）: COLMAPフリー3次元ガウス平滑化
• Authors: Yang Fu, Sifei Liu, Amey Kulkarni, Jan Kautz, Alexei A. Efros, Xiaolong Wang
• Abstract要約: 本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。 入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。 提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 93.69157280273856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While neural rendering has led to impressive advances in scene reconstruction and novel view synthesis, it relies heavily on accurately pre-computed camera poses. To relax this constraint, multiple efforts have been made to train Neural Radiance Fields (NeRFs) without pre-processed camera poses. However, the implicit representations of NeRFs provide extra challenges to optimize the 3D structure and camera poses at the same time. On the other hand, the recently proposed 3D Gaussian Splatting provides new opportunities given its explicit point cloud representations. This paper leverages both the explicit geometric representation and the continuity of the input video stream to perform novel view synthesis without any SfM preprocessing. We process the input frames in a sequential manner and progressively grow the 3D Gaussians set by taking one input frame at a time, without the need to pre-compute the camera poses. Our method significantly improves over previous approaches in view synthesis and camera pose estimation under large motion changes. Our project page is https://oasisyang.github.io/colmap-free-3dgs
• Abstract（参考訳）: ニューラルレンダリングはシーンの再構築や新しいビュー合成に顕著な進歩をもたらしたが、正確に計算されたカメラのポーズに大きく依存している。 この制約を緩和するために、予め処理されたカメラポーズを使わずにNeural Radiance Fields(NeRF)をトレーニングするための複数の取り組みが行われた。 しかし、NeRFの暗黙的な表現は、3D構造とカメラのポーズを同時に最適化する余分な課題をもたらす。 一方、最近提案された3D Gaussian Splattingは、その明示的なポイントクラウド表現を考えると、新たな機会を提供する。 本稿では,入力映像ストリームの明示的な幾何表現と連続性を利用して,sfm前処理を行わずに新たなビュー合成を行う。 入力フレームを順次処理し、カメラのポーズを事前に計算することなく、一度に1つの入力フレームを取ることで、3dガウスを徐々に成長させる。 画像合成とカメラポーズ推定における従来手法に比べて,大きな動き変化下での精度が大幅に向上した。 私たちのプロジェクトページはhttps://oasisyang.github.io/colmap-free-3dgsです。

関連論文リスト

• A Construct-Optimize Approach to Sparse View Synthesis without Camera Pose [44.13819148680788]
  カメラポーズを伴わないスパースビュー合成のための新しい構成と最適化手法を開発した。 具体的には、単分子深度と画素を3次元の世界に投影することで、解を構築する。 タンク・アンド・テンプル・アンド・スタティック・ハイクスのデータセットに3つの広い範囲のビューで結果を示す。
  論文  参考訳（メタデータ） (2024-05-06T17:36:44Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Free3D: Consistent Novel View Synthesis without 3D Representation [63.931920010054064]
  Free3Dは単分子開集合新規ビュー合成(NVS)の簡易的高精度な方法である 同様のアプローチを採った他の作品と比較して,明快な3D表現に頼らずに大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-12-07T18:59:18Z)
• Pose-Free Generalizable Rendering Transformer [72.47072706742065]
  PF-GRTは、Generalizable Rendering Transformer用のPose-Freeフレームワークである。 PF-GRTは局所相対座標系を用いてパラメータ化される。 データセットのゼロショットレンダリングによる実験では、フォトリアリスティック画像の生成において、優れた品質が得られることが明らかになった。
  論文  参考訳（メタデータ） (2023-10-05T17:24:36Z)
• LEAP: Liberate Sparse-view 3D Modeling from Camera Poses [28.571234973474077]
  スパースビュー3DモデリングのためのポーズレスアプローチであるLEAPを提案する。 LEAPはポーズベースの操作を捨て、データから幾何学的知識を学ぶ。 LEAPは,最先端のポーズ推定器から予測されたポーズを用いた場合,先行手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-02T17:59:37Z)
• BAA-NGP: Bundle-Adjusting Accelerated Neural Graphics Primitives [6.431806897364565]
  ロボットは2D画像から3D環境を理解することができる。 本稿では,バンドル調整型高速化ニューラルネットワークプリミティブ(BAA-NGP)というフレームワークを提案する。 その結果,他の束調整型ニューラルラジアンスフィールド法と比較して10～20倍の速度向上が得られた。
  論文  参考訳（メタデータ） (2023-06-07T05:36:45Z)
• FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses via Pixel-Aligned Scene Flow [26.528667940013598]
  ポーズ画像からの3次元ニューラルネットワークの再構成は、自己教師付き表現学習の有望な方法として現れている。 これらの3Dシーンの学習者が大規模ビデオデータに展開するのを防ぐ重要な課題は、構造から移動までの正確なカメラポーズに依存することである。 本稿では,オンラインと1つのフォワードパスでカメラポーズと3Dニューラルシーン表現を共同で再構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T20:58:46Z)
• Structure-Aware NeRF without Posed Camera via Epipolar Constraint [8.115535686311249]
  リアルなノベルビュー合成のためのニューラル・ラディアンス・フィールド(NeRF)は、カメラのポーズを事前に取得する必要がある。 ポーズ抽出とビュー合成を1つのエンドツーエンドの手順に統合し、それらが相互に利益を得ることができるようにします。
  論文  参考訳（メタデータ） (2022-10-01T03:57:39Z)
• CAMPARI: Camera-Aware Decomposed Generative Neural Radiance Fields [67.76151996543588]
  画像だけでなく,カメラデータ分布を忠実に復元する3次元およびカメラ認識生成モデルについて検討した。 テスト時に、私たちのモデルは、カメラを明示的に制御し、シーンの形状と外観で画像を生成します。
  論文  参考訳（メタデータ） (2021-03-31T17:59:24Z)
• GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
  gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。 提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
  論文  参考訳（メタデータ） (2021-03-29T13:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。