論文の概要: CRAYM: Neural Field Optimization via Camera RAY Matching
- arxiv url: http://arxiv.org/abs/2412.01618v1
- Date: Mon, 02 Dec 2024 15:39:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:42:29.832120
- Title: CRAYM: Neural Field Optimization via Camera RAY Matching
- Title（参考訳）: CRAYM:カメラRAYマッチングによるニューラルネットワーク最適化
- Authors: Liqiang Lin, Wenpeng Wu, Chi-Wing Fu, Hao Zhang, Hui Huang,
- Abstract要約: マルチビュー画像からカメラポーズとニューラルフィールドのジョイント最適化にカメラレイマッチング(CRAYM)を導入する。
入力画像のキーポイントを通過するカメラ光に焦点をあてて、各光線最適化と一致した光線コヒーレンスを定式化する。
- 参考スコア（独自算出の注目度）: 48.25100687172752
- License:
- Abstract: We introduce camera ray matching (CRAYM) into the joint optimization of camera poses and neural fields from multi-view images. The optimized field, referred to as a feature volume, can be "probed" by the camera rays for novel view synthesis (NVS) and 3D geometry reconstruction. One key reason for matching camera rays, instead of pixels as in prior works, is that the camera rays can be parameterized by the feature volume to carry both geometric and photometric information. Multi-view consistencies involving the camera rays and scene rendering can be naturally integrated into the joint optimization and network training, to impose physically meaningful constraints to improve the final quality of both the geometric reconstruction and photorealistic rendering. We formulate our per-ray optimization and matched ray coherence by focusing on camera rays passing through keypoints in the input images to elevate both the efficiency and accuracy of scene correspondences. Accumulated ray features along the feature volume provide a means to discount the coherence constraint amid erroneous ray matching. We demonstrate the effectiveness of CRAYM for both NVS and geometry reconstruction, over dense- or sparse-view settings, with qualitative and quantitative comparisons to state-of-the-art alternatives.
- Abstract（参考訳）: マルチビュー画像からカメラポーズとニューラルフィールドのジョイント最適化にカメラレイマッチング(CRAYM)を導入する。
最適化されたフィールドは特徴量と呼ばれ、新しいビュー合成(NVS)と3D幾何再構成のためにカメラ線で"プロブ"することができる。
カメラ光線が以前の作品のようにピクセルではなく一致する理由の1つは、カメラ光線が特徴量によってパラメータ化され、幾何学的情報と測光的情報の両方を運ぶことができることである。
カメラ線とシーンレンダリングを含むマルチビューのコンピテンシーは、幾何学的再構成とフォトリアリスティックレンダリングの両方の最終的な品質を改善するために、物理的に意味のある制約を課すために、ジョイント最適化とネットワークトレーニングに自然に統合することができる。
入力画像のキーポイントを通過するカメラ光に焦点を合わせ、シーン対応の効率と精度を高めることにより、各光線最適化と一致した光線コヒーレンスを定式化する。
特徴量に沿って蓄積された光線特徴は、誤光マッチング中にコヒーレンス制約を割引する手段を提供する。
我々は, NVS と幾何再構成における CRAYM の有効性について, 定性的, 定量的な比較を行った。
関連論文リスト
- Improving Robustness for Joint Optimization of Camera Poses and
Decomposed Low-Rank Tensorial Radiance Fields [26.4340697184666]
本稿では,分解された低ランクテンソルで表現されるカメラポーズとシーン形状を共同で洗練するアルゴリズムを提案する。
また,スムーズな2次元監視手法,ランダムスケールカーネルパラメータ,エッジ誘導損失マスクを提案する。
論文 参考訳（メタデータ） (2024-02-20T18:59:02Z) - Towards Scalable Multi-View Reconstruction of Geometry and Materials [27.660389147094715]
本稿では,3次元シーンのカメラポーズ,オブジェクト形状,空間変化の両方向反射分布関数(svBRDF)のジョイントリカバリ手法を提案する。
入力は高解像度のRGBD画像であり、アクティブ照明用の点灯付き携帯型ハンドヘルドキャプチャシステムによってキャプチャされる。
論文 参考訳（メタデータ） (2023-06-06T15:07:39Z) - Neural Lens Modeling [50.57409162437732]
NeuroLens(ニューロレンス)は、点投影と光線鋳造に使用できる歪みと磁化のための神経レンズモデルである。
古典的なキャリブレーションターゲットを使用してプリキャプチャのキャリブレーションを行うことができ、後に3D再構成の際にキャリブレーションやリファインメントを行うために使用できる。
このモデルは、多くのレンズタイプにまたがって一般化されており、既存の3D再構成とレンダリングシステムとの統合は容易である。
論文 参考訳（メタデータ） (2023-04-10T20:09:17Z) - Enhanced Stable View Synthesis [86.69338893753886]
本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。
導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
論文 参考訳（メタデータ） (2023-03-30T01:53:14Z) - Adaptive Joint Optimization for 3D Reconstruction with Differentiable
Rendering [22.2095090385119]
完璧に再構成された3Dモデルを考えると、従来の手法は幾何学、テクスチャ、カメラのポーズの洗練に重点を置いてきた。
本稿では、カメラポーズ、幾何学、テクスチャの最適化を統一されたフレームワークに統合する、微分可能レンダリングに基づく新しい最適化手法を提案する。
微分可能レンダリングを用いることで、3Dモデルをさらに改善し、よりフォトリアリスティックにすることができる。
論文 参考訳（メタデータ） (2022-08-15T04:32:41Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z) - Visual Odometry with an Event Camera Using Continuous Ray Warping and
Volumetric Contrast Maximization [31.627936023222052]
イベントカメラによるトラッキングとマッピングのための新しいソリューションを提案する。
カメラの動きは回転と変換の両方を含み、変位は任意に構造化された環境で起こる。
コントラストを3Dで実現することで,この問題に対する新たな解決法を提案する。
車両搭載イベントカメラによるAGV運動推定と3次元再構成への応用により,本手法の実用的妥当性が裏付けられる。
論文 参考訳（メタデータ） (2021-07-07T04:32:57Z) - Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian
Photometric Stereo [61.6260594326246]
空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。
分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
論文 参考訳（メタデータ） (2021-03-22T18:06:58Z) - ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。
提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
論文 参考訳（メタデータ） (2021-03-07T04:33:13Z) - Large Scale Photometric Bundle Adjustment [9.184692492399686]
インターネット画像からのオフライン3D再構成は、高密度な幾何学とカメラパラメータよりも、光度を最適化するジョイントの恩恵を受けていない。
この研究は、何百万ものシーンポイントと何百ものカメラポーズと内在を共同で最適化するための枠組みを提示している。
大規模タンク・アンド・テンプルスベンチマークでは,特徴量に基づくバンドル調整よりも提案するメートル法再建精度の向上が示されている。
論文 参考訳（メタデータ） (2020-08-26T18:49:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。