論文の概要: Enhanced Stable View Synthesis
- arxiv url: http://arxiv.org/abs/2303.17094v1
- Date: Thu, 30 Mar 2023 01:53:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-31 14:43:14.798312
- Title: Enhanced Stable View Synthesis
- Title(参考訳): 安定ビュー合成の強化
- Authors: Nishant Jain, Suryansh Kumar, Luc Van Gool
- Abstract要約: 本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。
導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
- 参考スコア(独自算出の注目度): 86.69338893753886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce an approach to enhance the novel view synthesis from images
taken from a freely moving camera. The introduced approach focuses on outdoor
scenes where recovering accurate geometric scaffold and camera pose is
challenging, leading to inferior results using the state-of-the-art stable view
synthesis (SVS) method. SVS and related methods fail for outdoor scenes
primarily due to (i) over-relying on the multiview stereo (MVS) for geometric
scaffold recovery and (ii) assuming COLMAP computed camera poses as the best
possible estimates, despite it being well-studied that MVS 3D reconstruction
accuracy is limited to scene disparity and camera-pose accuracy is sensitive to
key-point correspondence selection. This work proposes a principled way to
enhance novel view synthesis solutions drawing inspiration from the basics of
multiple view geometry. By leveraging the complementary behavior of MVS and
monocular depth, we arrive at a better scene depth per view for nearby and far
points, respectively. Moreover, our approach jointly refines camera poses with
image-based rendering via multiple rotation averaging graph optimization. The
recovered scene depth and the camera-pose help better view-dependent on-surface
feature aggregation of the entire scene. Extensive evaluation of our approach
on the popular benchmark dataset, such as Tanks and Temples, shows substantial
improvement in view synthesis results compared to the prior art. For instance,
our method shows 1.5 dB of PSNR improvement on the Tank and Temples. Similar
statistics are observed when tested on other benchmark datasets such as FVS,
Mip-NeRF 360, and DTU.
- Abstract(参考訳): 本稿では,自由に動くカメラから撮影した画像から新しいビュー合成を強化するアプローチを提案する。
導入したアプローチは,正確な幾何学的足場とカメラポーズの復元が難しい屋外シーンに着目し,最先端の安定ビュー合成(svs)手法による劣る結果をもたらす。
SVSと関連するメソッドは、主に屋外シーンで失敗する
(i)幾何的足場回復のための多視点ステレオ(MVS)のオーバーライジング
(ii) mvs3次元復元精度はシーンのばらつきに制限され、カメラ配置精度はキーポイント対応選択に敏感であるにもかかわらず、コルマップ計算カメラが最良の推定値と仮定する。
本研究は,複数ビュー幾何学の基礎からインスピレーションを得た新規ビュー合成ソリューションの原理的手法を提案する。
MVSの相補的挙動と単眼深度を活用することで、近地点と遠地点の視野あたりのシーン深度をそれぞれ改善する。
さらに,複数回転平均グラフ最適化による画像ベースのレンダリングにより,カメラのポーズを改良する。
回収されたシーンの深さとカメラの配置は、シーン全体のビュー依存の特徴集約に役立つ。
タンクやテンプルなどの人気のあるベンチマークデータセットに対するアプローチの広範な評価は,先行技術と比較して,ビュー合成結果の大幅な改善を示している。
例えば,本手法は,タンクと寺院のPSNR改善の1.5dBを示す。
FVS、Mip-NeRF 360、DTUなどの他のベンチマークデータセットでテストした場合、同様の統計が観測される。
関連論文リスト
- DUSt3R: Geometric 3D Vision Made Easy [9.088432378237606]
Dense and Unconstrained Stereo 3D Reconstruction of arbitrary image collections。
本定式化は単眼および両眼の再建症例を円滑に統一することを示す。
私たちの定式化はシーンの3Dモデルと深度情報を直接提供しますが、興味深いことに、シームレスに回復できます。
論文 参考訳(メタデータ) (2023-12-21T18:52:14Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳(メタデータ) (2023-08-10T17:55:02Z) - Towards Scalable Multi-View Reconstruction of Geometry and Materials [27.660389147094715]
本稿では,3次元シーンのカメラポーズ,オブジェクト形状,空間変化の両方向反射分布関数(svBRDF)のジョイントリカバリ手法を提案する。
入力は高解像度のRGBD画像であり、アクティブ照明用の点灯付き携帯型ハンドヘルドキャプチャシステムによってキャプチャされる。
論文 参考訳(メタデータ) (2023-06-06T15:07:39Z) - Image Stabilization for Hololens Camera in Remote Collaboration [1.1470070927586016]
Narrow Field-of-view(FoV)とMotion blurは、ARヘッドセットのリモートビューアに対して、認知度が制限された不快な体験を提供する。
この問題に対処し、より大規模なFoVで安定した視聴体験を確保するための2段階パイプラインを提案する。
このソリューションには、屋内環境のオフライン3D再構築と、ARデバイスのライブポーズのみを使用したレンダリングの強化が含まれる。
論文 参考訳(メタデータ) (2023-04-05T20:35:49Z) - State of the Art in Dense Monocular Non-Rigid 3D Reconstruction [100.9586977875698]
モノクル2D画像から変形可能なシーン(または非剛体)の3D再構成は、コンピュータビジョンとグラフィックスの長年、活発に研究されてきた領域である。
本研究は,モノクラー映像やモノクラービューの集合から,様々な変形可能な物体や複合シーンを高密度に非剛性で再現するための最先端の手法に焦点を当てる。
論文 参考訳(メタデータ) (2022-10-27T17:59:53Z) - RelPose: Predicting Probabilistic Relative Rotation for Single Objects
in the Wild [73.1276968007689]
本稿では、任意のオブジェクトの複数の画像からカメラ視点を推定するデータ駆動手法について述べる。
本手法は, 画像の鮮明さから, 最先端のSfM法とSLAM法より優れていることを示す。
論文 参考訳(メタデータ) (2022-08-11T17:59:59Z) - DFNet: Enhance Absolute Pose Regression with Direct Feature Matching [16.96571417692014]
絶対ポーズ回帰(APR)と直接特徴マッチングを組み合わせたカメラ再局在パイプラインを導入する。
提案手法は,既存の1画像のAPR手法を最大56%上回る精度で3次元構造法に匹敵する精度を実現する。
論文 参考訳(メタデータ) (2022-04-01T16:39:16Z) - Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular
Video Depth [90.33296913575818]
映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。
局所重み付き線形回帰法を提案する。
提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
論文 参考訳(メタデータ) (2022-02-03T08:52:54Z) - 3D Hierarchical Refinement and Augmentation for Unsupervised Learning of
Depth and Pose from Monocular Video [16.613015664195224]
明示的な3次元幾何を用いた3次元階層化と拡張による新しい教師なしトレーニングフレームワークが提案されている。
このフレームワークでは、深さとポーズの推定を階層的に相互に結合し、推定されたポーズ層を層単位で洗練する。
我々の視覚計測は、最近の教師なし単眼学習法よりも優れており、幾何学的手法と競合する性能を実現している。
論文 参考訳(メタデータ) (2021-12-06T13:46:48Z) - Stable View Synthesis [100.86844680362196]
安定ビュー合成(SVS)について紹介する。
SVSは、自由に分散された視点からシーンを描写するソースイメージのセットを与えられた場合、シーンの新たなビューを合成する。
SVSは3つの異なる実世界のデータセットに対して定量的かつ質的に、最先端のビュー合成手法より優れている。
論文 参考訳(メタデータ) (2020-11-14T07:24:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。