論文の概要: Enhanced Stable View Synthesis

• arxiv url: http://arxiv.org/abs/2303.17094v1
• Date: Thu, 30 Mar 2023 01:53:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 14:43:14.798312
• Title: Enhanced Stable View Synthesis
• Title（参考訳）: 安定ビュー合成の強化
• Authors: Nishant Jain, Suryansh Kumar, Luc Van Gool
• Abstract要約: 本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。 導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
• 参考スコア（独自算出の注目度）: 86.69338893753886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce an approach to enhance the novel view synthesis from images taken from a freely moving camera. The introduced approach focuses on outdoor scenes where recovering accurate geometric scaffold and camera pose is challenging, leading to inferior results using the state-of-the-art stable view synthesis (SVS) method. SVS and related methods fail for outdoor scenes primarily due to (i) over-relying on the multiview stereo (MVS) for geometric scaffold recovery and (ii) assuming COLMAP computed camera poses as the best possible estimates, despite it being well-studied that MVS 3D reconstruction accuracy is limited to scene disparity and camera-pose accuracy is sensitive to key-point correspondence selection. This work proposes a principled way to enhance novel view synthesis solutions drawing inspiration from the basics of multiple view geometry. By leveraging the complementary behavior of MVS and monocular depth, we arrive at a better scene depth per view for nearby and far points, respectively. Moreover, our approach jointly refines camera poses with image-based rendering via multiple rotation averaging graph optimization. The recovered scene depth and the camera-pose help better view-dependent on-surface feature aggregation of the entire scene. Extensive evaluation of our approach on the popular benchmark dataset, such as Tanks and Temples, shows substantial improvement in view synthesis results compared to the prior art. For instance, our method shows 1.5 dB of PSNR improvement on the Tank and Temples. Similar statistics are observed when tested on other benchmark datasets such as FVS, Mip-NeRF 360, and DTU.
• Abstract（参考訳）: 本稿では,自由に動くカメラから撮影した画像から新しいビュー合成を強化するアプローチを提案する。 導入したアプローチは,正確な幾何学的足場とカメラポーズの復元が難しい屋外シーンに着目し,最先端の安定ビュー合成(svs)手法による劣る結果をもたらす。 SVSと関連するメソッドは、主に屋外シーンで失敗する (i)幾何的足場回復のための多視点ステレオ(MVS)のオーバーライジング (ii) mvs3次元復元精度はシーンのばらつきに制限され、カメラ配置精度はキーポイント対応選択に敏感であるにもかかわらず、コルマップ計算カメラが最良の推定値と仮定する。 本研究は,複数ビュー幾何学の基礎からインスピレーションを得た新規ビュー合成ソリューションの原理的手法を提案する。 MVSの相補的挙動と単眼深度を活用することで、近地点と遠地点の視野あたりのシーン深度をそれぞれ改善する。 さらに,複数回転平均グラフ最適化による画像ベースのレンダリングにより,カメラのポーズを改良する。 回収されたシーンの深さとカメラの配置は、シーン全体のビュー依存の特徴集約に役立つ。 タンクやテンプルなどの人気のあるベンチマークデータセットに対するアプローチの広範な評価は,先行技術と比較して,ビュー合成結果の大幅な改善を示している。 例えば,本手法は,タンクと寺院のPSNR改善の1.5dBを示す。 FVS、Mip-NeRF 360、DTUなどの他のベンチマークデータセットでテストした場合、同様の統計が観測される。

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• VEGS: View Extrapolation of Urban Scenes in 3D Gaussian Splatting using Learned Priors [32.02774117064752]
  本研究では,左,右,下などの視界の再構成を評価することで,外挿ビュー合成(EVS)問題に対処する。 我々の知る限りでは、都市景観再建におけるESV問題に最初に取り組む人物である。
  論文  参考訳（メタデータ） (2024-07-03T09:23:13Z)
• A Construct-Optimize Approach to Sparse View Synthesis without Camera Pose [44.13819148680788]
  カメラポーズを伴わないスパースビュー合成のための新しい構成と最適化手法を開発した。 具体的には、単分子深度と画素を3次元の世界に投影することで、解を構築する。 タンク・アンド・テンプル・アンド・スタティック・ハイクスのデータセットに3つの広い範囲のビューで結果を示す。
  論文  参考訳（メタデータ） (2024-05-06T17:36:44Z)
• DUSt3R: Geometric 3D Vision Made Easy [8.471330244002564]
  Dense and Unconstrained Stereo 3D Reconstruction of arbitrary image collections。 本定式化は単眼および両眼の再建症例を円滑に統一することを示す。 私たちの定式化はシーンの3Dモデルと深度情報を直接提供しますが、興味深いことに、シームレスに回復できます。
  論文  参考訳（メタデータ） (2023-12-21T18:52:14Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Towards Scalable Multi-View Reconstruction of Geometry and Materials [27.660389147094715]
  本稿では,3次元シーンのカメラポーズ,オブジェクト形状,空間変化の両方向反射分布関数(svBRDF)のジョイントリカバリ手法を提案する。 入力は高解像度のRGBD画像であり、アクティブ照明用の点灯付き携帯型ハンドヘルドキャプチャシステムによってキャプチャされる。
  論文  参考訳（メタデータ） (2023-06-06T15:07:39Z)
• Image Stabilization for Hololens Camera in Remote Collaboration [1.1470070927586016]
  Narrow Field-of-view(FoV)とMotion blurは、ARヘッドセットのリモートビューアに対して、認知度が制限された不快な体験を提供する。 この問題に対処し、より大規模なFoVで安定した視聴体験を確保するための2段階パイプラインを提案する。 このソリューションには、屋内環境のオフライン3D再構築と、ARデバイスのライブポーズのみを使用したレンダリングの強化が含まれる。
  論文  参考訳（メタデータ） (2023-04-05T20:35:49Z)
• State of the Art in Dense Monocular Non-Rigid 3D Reconstruction [100.9586977875698]
  モノクル2D画像から変形可能なシーン(または非剛体)の3D再構成は、コンピュータビジョンとグラフィックスの長年、活発に研究されてきた領域である。 本研究は,モノクラー映像やモノクラービューの集合から,様々な変形可能な物体や複合シーンを高密度に非剛性で再現するための最先端の手法に焦点を当てる。
  論文  参考訳（メタデータ） (2022-10-27T17:59:53Z)
• Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth [90.33296913575818]
  映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。 局所重み付き線形回帰法を提案する。 提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
  論文  参考訳（メタデータ） (2022-02-03T08:52:54Z)
• Stable View Synthesis [100.86844680362196]
  安定ビュー合成(SVS)について紹介する。 SVSは、自由に分散された視点からシーンを描写するソースイメージのセットを与えられた場合、シーンの新たなビューを合成する。 SVSは3つの異なる実世界のデータセットに対して定量的かつ質的に、最先端のビュー合成手法より優れている。
  論文  参考訳（メタデータ） (2020-11-14T07:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。