論文の概要: Improving Robustness for Joint Optimization of Camera Poses and
Decomposed Low-Rank Tensorial Radiance Fields
- arxiv url: http://arxiv.org/abs/2402.13252v1
- Date: Tue, 20 Feb 2024 18:59:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 13:42:54.081361
- Title: Improving Robustness for Joint Optimization of Camera Poses and
Decomposed Low-Rank Tensorial Radiance Fields
- Title(参考訳): カメラポーザの連成最適化におけるロバスト性向上と分解低域テンソル放射場
- Authors: Bo-Yu Cheng, Wei-Chen Chiu, Yu-Lun Liu
- Abstract要約: 本稿では,分解された低ランクテンソルで表現されるカメラポーズとシーン形状を共同で洗練するアルゴリズムを提案する。
また,スムーズな2次元監視手法,ランダムスケールカーネルパラメータ,エッジ誘導損失マスクを提案する。
- 参考スコア(独自算出の注目度): 26.4340697184666
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose an algorithm that allows joint refinement of camera
pose and scene geometry represented by decomposed low-rank tensor, using only
2D images as supervision. First, we conduct a pilot study based on a 1D signal
and relate our findings to 3D scenarios, where the naive joint pose
optimization on voxel-based NeRFs can easily lead to sub-optimal solutions.
Moreover, based on the analysis of the frequency spectrum, we propose to apply
convolutional Gaussian filters on 2D and 3D radiance fields for a
coarse-to-fine training schedule that enables joint camera pose optimization.
Leveraging the decomposition property in decomposed low-rank tensor, our method
achieves an equivalent effect to brute-force 3D convolution with only incurring
little computational overhead. To further improve the robustness and stability
of joint optimization, we also propose techniques of smoothed 2D supervision,
randomly scaled kernel parameters, and edge-guided loss mask. Extensive
quantitative and qualitative evaluations demonstrate that our proposed
framework achieves superior performance in novel view synthesis as well as
rapid convergence for optimization.
- Abstract(参考訳): 本稿では,2次元画像のみを監督として,分解した低ランクテンソルで表現されたカメラポーズとシーン形状を共同で改善するアルゴリズムを提案する。
まず,1d信号に基づくパイロット実験を行い,voxelベースのnrf上でのナイーブなジョイントポーズ最適化が容易にサブ最適解につながる3dシナリオとの関連性について検討した。
さらに、周波数スペクトルの分析に基づいて、2次元および3次元の放射場に畳み込みガウスフィルタを適用し、共同カメラのポーズ最適化を可能にする粗大な訓練スケジュールを提案する。
分解した低ランクテンソルの分解特性を利用して, 計算オーバーヘッドの少ないブルート力3D畳み込みに対して等価な効果が得られる。
共同最適化の堅牢性と安定性をさらに向上するため,スムーズな2次元監視手法,ランダムスケールカーネルパラメータ,エッジ誘導損失マスクを提案する。
大規模定量的および定性的な評価により,提案するフレームワークは,新規なビュー合成において優れた性能を示し,最適化のための高速収束を実現している。
関連論文リスト
- GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for
Real-time Human Novel View Synthesis [73.7634042008412]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z) - Mip-Splatting: Alias-free 3D Gaussian Splatting [52.366815964832426]
3D Gaussian Splattingは素晴らしいビュー合成結果を示し、高い忠実度と効率を実現した。
ストロングアーティファクトは、サンプリングレート、例えば焦点距離やカメラ距離を変えることで観測することができる。
この現象の原因は,3次元周波数制約の欠如と2次元拡張フィルタの利用によると考えられる。
論文 参考訳(メタデータ) (2023-11-27T13:03:09Z) - Towards Scalable Multi-View Reconstruction of Geometry and Materials [27.660389147094715]
本稿では,3次元シーンのカメラポーズ,オブジェクト形状,空間変化の両方向反射分布関数(svBRDF)のジョイントリカバリ手法を提案する。
入力は高解像度のRGBD画像であり、アクティブ照明用の点灯付き携帯型ハンドヘルドキャプチャシステムによってキャプチャされる。
論文 参考訳(メタデータ) (2023-06-06T15:07:39Z) - HiFA: High-fidelity Text-to-3D Generation with Advanced Diffusion
Guidance [19.252300247300145]
本研究は,高品質なテキスト・ツー・3D生成を実現するための全体的サンプリングと平滑化手法を提案する。
テキスト・画像拡散モデルの潜時空間と画像空間における復調スコアを計算する。
単一段最適化において高品質なレンダリングを生成するため,我々はNeRF線に沿ったz座標の分散の正則化を提案する。
論文 参考訳(メタデータ) (2023-05-30T05:56:58Z) - Adaptive Joint Optimization for 3D Reconstruction with Differentiable
Rendering [22.2095090385119]
完璧に再構成された3Dモデルを考えると、従来の手法は幾何学、テクスチャ、カメラのポーズの洗練に重点を置いてきた。
本稿では、カメラポーズ、幾何学、テクスチャの最適化を統一されたフレームワークに統合する、微分可能レンダリングに基づく新しい最適化手法を提案する。
微分可能レンダリングを用いることで、3Dモデルをさらに改善し、よりフォトリアリスティックにすることができる。
論文 参考訳(メタデータ) (2022-08-15T04:32:41Z) - IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from
Photometric Images [52.021529273866896]
我々は、光メトリック画像を操作し、高品質な3Dコンテンツを出力するIRONと呼ばれるニューラルネットワーク逆レンダリングパイプラインを提案する。
提案手法は, 符号付き距離場 (SDF) と材料として, その柔軟性とコンパクトさを享受するために, 形状のニューラル表現を最適化中に採用する。
我々のIRONは、以前の作品に比べて、逆レンダリング品質が大幅に向上していることが示される。
論文 参考訳(メタデータ) (2022-04-05T14:14:18Z) - Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。
我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。
提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
論文 参考訳(メタデータ) (2021-10-18T08:56:23Z) - NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor
Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。
提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-09-02T17:54:31Z) - Snapshot Hyperspectral Imaging Based on Weighted High-order Singular
Value Regularization [22.5033027930853]
スナップショットハイパースペクトルイメージングは、単一の2D測定で3Dハイパースペクトル画像(HSI)をキャプチャできます。
既存の復元方法は、3D HSIの構造的スペクトル空間的性質を完全に利用することはできない。
スナップショットハイパースペクトル画像の再構成精度を高めるために,高次テンソル最適化法を提案する。
論文 参考訳(メタデータ) (2021-01-22T02:54:55Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳(メタデータ) (2020-08-31T17:10:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。