論文の概要: Bilateral Guided Radiance Field Processing

• arxiv url: http://arxiv.org/abs/2406.00448v1
• Date: Sat, 1 Jun 2024 14:10:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 06:55:04.574241
• Title: Bilateral Guided Radiance Field Processing
• Title（参考訳）: バイラテラル誘導放射場処理
• Authors: Yuehao Wang, Chaoyi Wang, Bingchen Gong, Tianfan Xue,
• Abstract要約: ニューラルラジアンス場(NeRF)は、新規なビュー合成の合成において、前例のない性能を達成する。 現代のカメラにおける画像信号処理(ISP)は、独立してそれらを強化し、再構成された放射場において「フローター」となる。 我々は、NeRFトレーニング段階におけるISPによる拡張を解消し、再構成されたラディアンスフィールドに対するユーザ希望の強化を再度適用することを提案する。 提案手法は,フロータを効果的に除去し,ユーザリタッチによる拡張を行うことにより,新規ビュー合成の視覚的品質を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 4.816861458037213
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural Radiance Fields (NeRF) achieves unprecedented performance in synthesizing novel view synthesis, utilizing multi-view consistency. When capturing multiple inputs, image signal processing (ISP) in modern cameras will independently enhance them, including exposure adjustment, color correction, local tone mapping, etc. While these processings greatly improve image quality, they often break the multi-view consistency assumption, leading to "floaters" in the reconstructed radiance fields. To address this concern without compromising visual aesthetics, we aim to first disentangle the enhancement by ISP at the NeRF training stage and re-apply user-desired enhancements to the reconstructed radiance fields at the finishing stage. Furthermore, to make the re-applied enhancements consistent between novel views, we need to perform imaging signal processing in 3D space (i.e. "3D ISP"). For this goal, we adopt the bilateral grid, a locally-affine model, as a generalized representation of ISP processing. Specifically, we optimize per-view 3D bilateral grids with radiance fields to approximate the effects of camera pipelines for each input view. To achieve user-adjustable 3D finishing, we propose to learn a low-rank 4D bilateral grid from a given single view edit, lifting photo enhancements to the whole 3D scene. We demonstrate our approach can boost the visual quality of novel view synthesis by effectively removing floaters and performing enhancements from user retouching. The source code and our data are available at: https://bilarfpro.github.io.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は,複数視点の整合性を利用した新規ビュー合成において,前例のない性能を達成する。 複数の入力をキャプチャすると、現代のカメラにおける画像信号処理(ISP)は、露光調整、色補正、局所トーンマッピングなど、独立してそれを強化する。 これらの処理は画像品質を大幅に改善するが、多視点整合性の仮定を破り、再構成された放射場における「浮動小数点」につながることが多い。 視覚美学を損なうことなくこの問題に対処するため,まずNeRFトレーニング段階においてISPによる拡張を解消し,最終段階において再構成された放射場に対するユーザ希望の強化を再度適用することを目的としている。 さらに、新しいビュー間で再適用された拡張を一貫性を持たせるためには、3D空間(すなわち「3D ISP」)で画像信号処理を行う必要がある。 この目的のために、ISP処理の一般化表現として、ローカルアフィンモデルである双方向グリッドを採用する。 具体的には、各入力ビューに対するカメラパイプラインの効果を近似するために、放射場を用いたビューごとの3次元グリッドを最適化する。 ユーザが調整可能な3Dフィニッシュを実現するために,1つのビューの編集から低ランクの4Dグリッドを学習し,画像の強化を3Dシーン全体に引き上げることを提案する。 提案手法は,フロータを効果的に除去し,ユーザリタッチによる拡張を行うことにより,新規ビュー合成の視覚的品質を向上させることができることを示す。 ソースコードとデータについては、https://bilarfpro.github.io.com/pc/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s/s

関連論文リスト

• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• Reconstructing Continuous Light Field From Single Coded Image [7.937367109582907]
  本研究では,対象シーンの連続光場を単一観測画像から再構成する手法を提案する。 カメラに実装された共同開口露光符号化により、3次元シーン情報の観察画像への効果的な埋め込みが可能となる。 NeRFベースのニューラルレンダリングは、連続的な視点から3Dシーンの高品質なビュー合成を可能にする。
  論文  参考訳（メタデータ） (2023-11-16T07:59:01Z)
• rpcPRF: Generalizable MPI Neural Radiance Field for Satellite Camera [0.76146285961466]
  本稿では,多面体画像(MPI)を用いたRPO(Rational Polynomial Camera)のための平面神経放射場rpcPRFを提案する。 本稿では,3次元座標と画像の間の正確な形状を学習するために,予測されたMPIを誘導するために再投影監視を利用する。 我々は、放射場の描画技術を導入することにより、深層多視点ステレオ法から密集深度監視の厳密な要求を取り除いた。
  論文  参考訳（メタデータ） (2023-10-11T04:05:11Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。