論文の概要: NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning

• arxiv url: http://arxiv.org/abs/2403.01325v1
• Date: Sat, 2 Mar 2024 22:08:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 14:21:33.076509
• Title: NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning
• Title（参考訳）: NeRF-VPT:ビュープロンプトチューニングによるニューラルラジアンスフィールドを用いた新しいビュー表現の学習
• Authors: Linsheng Chen, Guangrun Wang, Liuchun Yuan, Keze Wang, Ken Deng, Philip H.S. Torr
• Abstract要約: 本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
• 参考スコア（独自算出の注目度）: 63.39461847093663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) have garnered remarkable success in novel view synthesis. Nonetheless, the task of generating high-quality images for novel views persists as a critical challenge. While the existing efforts have exhibited commendable progress, capturing intricate details, enhancing textures, and achieving superior Peak Signal-to-Noise Ratio (PSNR) metrics warrant further focused attention and advancement. In this work, we propose NeRF-VPT, an innovative method for novel view synthesis to address these challenges. Our proposed NeRF-VPT employs a cascading view prompt tuning paradigm, wherein RGB information gained from preceding rendering outcomes serves as instructive visual prompts for subsequent rendering stages, with the aspiration that the prior knowledge embedded in the prompts can facilitate the gradual enhancement of rendered image quality. NeRF-VPT only requires sampling RGB data from previous stage renderings as priors at each training stage, without relying on extra guidance or complex techniques. Thus, our NeRF-VPT is plug-and-play and can be readily integrated into existing methods. By conducting comparative analyses of our NeRF-VPT against several NeRF-based approaches on demanding real-scene benchmarks, such as Realistic Synthetic 360, Real Forward-Facing, Replica dataset, and a user-captured dataset, we substantiate that our NeRF-VPT significantly elevates baseline performance and proficiently generates more high-quality novel view images than all the compared state-of-the-art methods. Furthermore, the cascading learning of NeRF-VPT introduces adaptability to scenarios with sparse inputs, resulting in a significant enhancement of accuracy for sparse-view novel view synthesis. The source code and dataset are available at \url{https://github.com/Freedomcls/NeRF-VPT}.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー合成において顕著な成功を収めた。 それでも、斬新なビューのために高品質な画像を生成する作業は、重要な課題である。 既存の取り組みは、賞賛すべき進歩を示し、複雑な詳細を捉え、テクスチャを強化し、より優れたピーク信号対雑音比(PSNR)測定を達成し、さらなる注意と進歩を保証している。 本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案したNeRF-VPTは,先行レンダリング結果から得られたRGB情報を,その後のレンダリング段階のインストラクティブな視覚的プロンプトとして機能するカスケーディング・ビュー・プロンプト・チューニング・パラダイムを用いており,プロンプトに埋め込まれた事前知識がレンダリング画像品質の段階的向上を促進することを期待している。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。 したがって、NeRF-VPTはプラグアンドプレイであり、既存のメソッドに簡単に統合できる。 リアルな合成360度,リアルなフォワード,レプリカデータセット,ユーザキャプチャデータセットといった,実際のベンチマークを要求する複数のnerf-vpt手法との比較分析を行い,本手法がベースライン性能を著しく向上させ,比較した最先端手法よりも高品質なノベルビュー画像を生成することを実証した。 さらに、NeRF-VPTのカスケード学習は、スパース入力を伴うシナリオへの適応性を導入し、スパースビュー新規ビュー合成の精度を大幅に向上させる。 ソースコードとデータセットは \url{https://github.com/freedomcls/nerf-vpt} で入手できる。

関連論文リスト

• NeRF-DetS: Enhancing Multi-View 3D Object Detection with Sampling-adaptive Network of Continuous NeRF-based Representation [60.47114985993196]
  NeRF-Detは、新しいビュー演算と3D知覚のタスクを統一する。 我々は,新しい3次元知覚ネットワーク構造であるNeRF-DetSを導入する。 NeRF-DetSはScanNetV2データセット上で競合するNeRF-Detより優れている。
  論文  参考訳（メタデータ） (2024-04-22T06:59:03Z)
• FlipNeRF: Flipped Reflection Rays for Few-shot Novel View Synthesis [30.25904672829623]
  FlipNeRFは,提案したフレキシブルリフレクション線を利用して,数発の新規ビュー合成のための新しい正規化手法である。 FlipNeRFは、異なるシーン構造全体にわたって効果的に浮かぶアーティファクトを削減し、より信頼性の高いアウトプットを見積もることができる。
  論文  参考訳（メタデータ） (2023-06-30T15:11:00Z)
• From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
  我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。 また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。 NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
  論文  参考訳（メタデータ） (2023-06-10T09:19:19Z)
• NeRFLiX: High-Quality Neural View Synthesis by Learning a Degradation-Driven Inter-viewpoint MiXer [44.220611552133036]
  我々は、分解駆動の視点間ミキサーを学習し、NeRFLiXを提案する。 また,高度に関連した高品質な訓練画像の融合が可能な視点間集約フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T08:36:30Z)
• PANeRF: Pseudo-view Augmentation for Improved Neural Radiance Fields Based on Few-shot Inputs [3.818285175392197]
  神経放射場(NeRF)は複雑なシーンの新しいビューに有望な応用がある。 NeRFは、高品質な画像を生成するために、数百の数字の高密度な入力ビューを必要とする。 少ショット入力の幾何を考慮した十分な量のデータ拡張方式であるNeRFの擬似ビュー拡張を提案する。
  論文  参考訳（メタデータ） (2022-11-23T08:01:10Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。