Fugu-MT 論文翻訳(概要): Divide and Conquer: Rethinking the Training Paradigm of Neural Radiance Fields

論文の概要: Divide and Conquer: Rethinking the Training Paradigm of Neural Radiance Fields

arxiv url: http://arxiv.org/abs/2401.16144v1
Date: Mon, 29 Jan 2024 13:23:34 GMT
ステータス: 処理完了
システム内更新日: 2024-01-30 14:38:29.529783
Title: Divide and Conquer: Rethinking the Training Paradigm of Neural Radiance Fields
Title（参考訳）: 分割と克服:神経放射領域の訓練パラダイムを再考する
Authors: Rongkai Ma, Leo Lebrat, Rodrigo Santa Cruz, Gil Avraham, Yan Zuo, Clinton Fookes, Olivier Salvado
Abstract要約: ニューラルレイディアンス場(NeRF)は3Dシーンの高忠実度ビューに可能性を示した。 NeRFの標準トレーニングパラダイムは、トレーニングセットの各画像に等しい重要性を前提としている。本稿では、現在のトレーニングパラダイムの意義を詳しく調べ、より優れたレンダリング品質のために再設計する。
参考スコア（独自算出の注目度）: 24.99410489251996
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Neural radiance fields (NeRFs) have exhibited potential in synthesizing high-fidelity views of 3D scenes but the standard training paradigm of NeRF presupposes an equal importance for each image in the training set. This assumption poses a significant challenge for rendering specific views presenting intricate geometries, thereby resulting in suboptimal performance. In this paper, we take a closer look at the implications of the current training paradigm and redesign this for more superior rendering quality by NeRFs. Dividing input views into multiple groups based on their visual similarities and training individual models on each of these groups enables each model to specialize on specific regions without sacrificing speed or efficiency. Subsequently, the knowledge of these specialized models is aggregated into a single entity via a teacher-student distillation paradigm, enabling spatial efficiency for online render-ing. Empirically, we evaluate our novel training framework on two publicly available datasets, namely NeRF synthetic and Tanks&Temples. Our evaluation demonstrates that our DaC training pipeline enhances the rendering quality of a state-of-the-art baseline model while exhibiting convergence to a superior minimum.
Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は3次元シーンの高忠実度ビューを合成する可能性を示しているが、NeRFの標準トレーニングパラダイムはトレーニングセットの各画像に等しく重要であることを前提としている。この仮定は、複雑なジオメトリを示す特定のビューをレンダリングする上で重要な課題となり、結果として準最適性能をもたらす。本稿では,現在の学習パラダイムが持つ意味を詳しく検討し,nerfsによるより優れたレンダリング品質を実現するため,これを再設計する。入力ビューを視覚的類似性に基づいて複数のグループに分割し、各グループで個々のモデルを訓練することで、各モデルは速度や効率を犠牲にすることなく特定の領域を専門化することができる。その後、これらの特殊モデルの知識は教師と学生の蒸留パラダイムを通じて単一のエンティティに集約され、オンラインレンダリングの空間効率が向上する。実験により,NeRF合成とTants&Templesという2つの公開データセットを用いた新しいトレーニングフレームワークの評価を行った。我々のDaCトレーニングパイプラインは,最先端のベースラインモデルのレンダリング品質を高めつつ,コンバージェンスを最小限に抑えることを示す。

関連論文リスト

Content-Aware Radiance Fields: Aligning Model Complexity with Scene Intricacy Through Learned Bitwidth Quantization [30.707317084452594]
ラディアンスフィールドモデルは、各シーンのトレーニングモデルによって、3Dコンテンツを表現するように設計されています。このシーン表現とシーンごとのトレーニングのユニークな特徴は、他のニューラルモデルと放射場モデルを区別する。我々は、A-CAQ(Adversarial Content-Aware Quantization)を通して、シーンの複雑さとシーンの複雑度を整合する認識放射場を提案する。
論文参考訳（メタデータ） (2024-10-25T11:39:55Z)
IOVS4NeRF:Incremental Optimal View Selection for Large-Scale NeRFs [3.9248546555042365]
本稿では,制限された入力予算内での3Dシーンのモデル化を目的とした,革新的なインクリメンタル・インクリメンタルなビュー選択フレームワークIOVS4NeRFを提案する。最高の情報ゲインを提供するビューを選択することで、新規ビュー合成の品質を最小限の追加リソースで向上させることができる。
論文参考訳（メタデータ） (2024-07-26T09:11:25Z)
ProvNeRF: Modeling per Point Provenance in NeRFs as a Stochastic Field [52.09661042881063]
テキストフィールドとしてNeRFのbfprovenance(可視な位置)をモデル化する手法を提案する。我々は、NeRF最適化におけるポイントごとの精度のモデリングにより、新しいビュー合成と不確実性推定の改善につながる情報により、モデルが強化されることを示す。
論文参考訳（メタデータ） (2024-01-16T06:19:18Z)
3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands [51.305421495638434]
ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
論文参考訳（メタデータ） (2024-01-02T00:42:06Z)
Self-Evolving Neural Radiance Fields [31.124406548504794]
我々は、自己学習フレームワークを神経放射場(NeRF)に適用する、SE-NeRF(Self-Evolving Neural Radiance Fields)と呼ばれる新しいフレームワークを提案する。数発のNeRFを教師向けフレームワークに定式化し、ネットワークを誘導し、より堅牢なシーン表現を学習する。既存のモデルに自己学習フレームワークを適用することで、レンダリング画像の品質が向上し、複数の設定で最先端のパフォーマンスが達成できることを示し、評価する。
論文参考訳（メタデータ） (2023-12-02T02:28:07Z)
Efficient-3DiM: Learning a Generalizable Single-image Novel-view Synthesizer in One Day [63.96075838322437]
シングルイメージのノベルビューシンセサイザーを学習するためのフレームワークを提案する。当社のフレームワークは,トレーニング時間を10日以内から1日未満に短縮することが可能です。
論文参考訳（メタデータ） (2023-10-04T17:57:07Z)
AutoNeRF: Training Implicit Scene Representations with Autonomous Agents [42.90747351247687]
ニューラルレージアンス場(NeRF)のような入射表現は、新規なビュー合成に非常に有効であることが示されている。本稿では,自律的エンボディエージェントを用いたNeRF訓練に必要なデータ収集手法であるAutoNeRFを提案する。
論文参考訳（メタデータ） (2023-04-21T20:22:17Z)
Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文参考訳（メタデータ） (2023-04-13T17:59:01Z)
Mask-Based Modeling for Neural Radiance Fields [20.728248301818912]
本研究では,マスクベースモデリングにより3次元暗黙表現学習を大幅に改善できることを明らかにする。 MRVM-NeRFは,各光線に沿った部分的マスキング特徴から,シーンの完全な表現を予測するための自己教師付き事前学習対象である。この事前学習目標により、MRVM-NeRFは、幾何学的先行として異なる点とビュー間の相関をよりよく利用することができる。
論文参考訳（メタデータ） (2023-04-11T04:12:31Z)
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文参考訳（メタデータ） (2022-09-02T17:44:50Z)
MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文参考訳（メタデータ） (2021-03-29T13:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。