論文の概要: BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes

• arxiv url: http://arxiv.org/abs/2407.15848v1
• Date: Mon, 22 Jul 2024 17:59:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 13:41:12.829934
• Title: BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes
• Title（参考訳）: BoostMVSNeRFs:大規模シーンにおける一般化可能なビュー合成のためのMVSベースのNeRFのブーピング
• Authors: Chih-Hai Su, Chih-Yao Hu, Shr-Ruei Tsai, Jie-Ying Lee, Chin-Yang Lin, Yu-Lun Liu,
• Abstract要約: 本稿では,大規模シーンにおけるMVSベースのNeRFのレンダリング品質を高めるため,BoostMVSNeRFと呼ばれる新しい手法を提案する。 MVSベースのNeRF法では,入力ビューの制限によるカバレッジやアーティファクトの制限など,まず制限を識別する。 本手法はトレーニングを必要とせず,フィードフォワード方式でMSVベースのNeRF手法に適応してレンダリング品質を向上させる。
• 参考スコア（独自算出の注目度）: 3.6344789837383145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Neural Radiance Fields (NeRFs) have demonstrated exceptional quality, their protracted training duration remains a limitation. Generalizable and MVS-based NeRFs, although capable of mitigating training time, often incur tradeoffs in quality. This paper presents a novel approach called BoostMVSNeRFs to enhance the rendering quality of MVS-based NeRFs in large-scale scenes. We first identify limitations in MVS-based NeRF methods, such as restricted viewport coverage and artifacts due to limited input views. Then, we address these limitations by proposing a new method that selects and combines multiple cost volumes during volume rendering. Our method does not require training and can adapt to any MVS-based NeRF methods in a feed-forward fashion to improve rendering quality. Furthermore, our approach is also end-to-end trainable, allowing fine-tuning on specific scenes. We demonstrate the effectiveness of our method through experiments on large-scale datasets, showing significant rendering quality improvements in large-scale scenes and unbounded outdoor scenarios. We release the source code of BoostMVSNeRFs at https://su-terry.github.io/BoostMVSNeRFs/.
• Abstract（参考訳）: ニューラル・ラディアンス・フィールド(Neural Radiance Fields、NeRF)は例外的な品質を示してきたが、訓練期間の延長は依然として限界である。 一般化可能でMSVベースのNeRFは訓練時間を短縮できるが、品質上のトレードオフがしばしば発生する。 本稿では,大規模シーンにおけるMVSベースのNeRFのレンダリング品質を高めるため,BoostMVSNeRFと呼ばれる新しい手法を提案する。 まず,MVSをベースとしたNeRF手法の制約,例えば限定的なビューポートカバレッジや,限定的な入力ビューによるアーティファクトなどの制約を同定する。 そこで本稿では,ボリュームレンダリング中に複数のコストボリュームを選択し,組み合わせる新しい手法を提案する。 本手法はトレーニングを必要とせず,フィードフォワード方式でMSVベースのNeRF手法に適応してレンダリング品質を向上させる。 さらに、このアプローチはエンドツーエンドのトレーニングも可能で、特定のシーンを微調整することができます。 本研究では,大規模データセットを用いた実験による手法の有効性を実証し,大規模シーンにおけるレンダリング品質の大幅な向上と屋外シナリオの非有界化を実証した。 BoostMVSNeRFsのソースコードはhttps://su-terry.github.io/BoostMVSNeRFs/で公開しています。

関連論文リスト

• Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
  スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす 近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。 我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-23T13:05:26Z)
• FrugalNeRF: Fast Convergence for Few-shot Novel View Synthesis without Learned Priors [6.729663383705042]
  FrugalNeRFは,複数スケールにわたる重み共有ボクセルを利用してシーンの詳細を効率よく表現する,数発のNeRFフレームワークである。 我々の重要な貢献は、スケールをまたいだ再射誤差に基づいて擬似基底真理深さを選択する、クロススケールな幾何適応スキームである。 LLFF、DTU、RealEstate-10Kの実験では、FrugalNeRFは他の数発のNeRF法よりも優れ、トレーニング時間を大幅に短縮した。
  論文  参考訳（メタデータ） (2024-10-21T17:59:53Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
  NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。 我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。 上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
  論文  参考訳（メタデータ） (2023-09-07T18:02:57Z)
• From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
  我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。 また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。 NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
  論文  参考訳（メタデータ） (2023-06-10T09:19:19Z)
• ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields [9.67057831710618]
  スパース入力ビューにおけるニューラルレイディアンス場(NeRF)のトレーニングは、過度な適合と不正確なシーン深さ推定につながる。 我々は、NeRFを再構成して、与えられた視点から3Dポイントの可視性を直接出力し、可視性制約でトレーニング時間を短縮する。 我々のモデルは、学習した先行データを含む、競合するスパース入力のNeRFモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-04-28T18:26:23Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• ActiveNeRF: Learning where to See with Uncertainty Estimation [36.209200774203005]
  近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。 本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
  論文  参考訳（メタデータ） (2022-09-18T12:09:15Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。