Fugu-MT 論文翻訳(概要): Self-Evolving Neural Radiance Fields

論文の概要: Self-Evolving Neural Radiance Fields

arxiv url: http://arxiv.org/abs/2312.01003v2
Date: Tue, 5 Dec 2023 12:26:16 GMT
ステータス: 処理完了
システム内更新日: 2023-12-06 12:49:24.978998
Title: Self-Evolving Neural Radiance Fields
Title（参考訳）: 自己進化型神経放射場
Authors: Jaewoo Jung, Jisang Han, Jiwon Kang, Seongchan Kim, Min-Seop Kwak, Seungryong Kim
Abstract要約: 我々は、自己学習フレームワークを神経放射場(NeRF)に適用する、SE-NeRF(Self-Evolving Neural Radiance Fields)と呼ばれる新しいフレームワークを提案する。数発のNeRFを教師向けフレームワークに定式化し、ネットワークを誘導し、より堅牢なシーン表現を学習する。既存のモデルに自己学習フレームワークを適用することで、レンダリング画像の品質が向上し、複数の設定で最先端のパフォーマンスが達成できることを示し、評価する。
参考スコア（独自算出の注目度）: 31.124406548504794
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recently, neural radiance field (NeRF) has shown remarkable performance in novel view synthesis and 3D reconstruction. However, it still requires abundant high-quality images, limiting its applicability in real-world scenarios. To overcome this limitation, recent works have focused on training NeRF only with sparse viewpoints by giving additional regularizations, often called few-shot NeRF. We observe that due to the under-constrained nature of the task, solely using additional regularization is not enough to prevent the model from overfitting to sparse viewpoints. In this paper, we propose a novel framework, dubbed Self-Evolving Neural Radiance Fields (SE-NeRF), that applies a self-training framework to NeRF to address these problems. We formulate few-shot NeRF into a teacher-student framework to guide the network to learn a more robust representation of the scene by training the student with additional pseudo labels generated from the teacher. By distilling ray-level pseudo labels using distinct distillation schemes for reliable and unreliable rays obtained with our novel reliability estimation method, we enable NeRF to learn a more accurate and robust geometry of the 3D scene. We show and evaluate that applying our self-training framework to existing models improves the quality of the rendered images and achieves state-of-the-art performance in multiple settings.
Abstract（参考訳）: 近年,ニューラル・ラジアンス・フィールド(NeRF)は新規な視線合成と3次元再構成において顕著な性能を示した。しかし、高品質な画像を必要とするため、現実のシナリオでは適用性が制限される。この制限を克服するために、近年の研究では、少ない視点でのみnerfを訓練することに焦点を当てている。タスクの制約の少ない性質のため、追加の正規化のみを用いることで、モデルが過度に適合してスパースな視点に収まらないことが観察された。本稿では,これらの問題に対処するための自己学習フレームワークをNeRFに適用した,SE-NeRF(Self-Evolving Neural Radiance Fields)と呼ばれる新しいフレームワークを提案する。数発のNeRFを教師学生用フレームワークに編成し,教師が生成した追加の擬似ラベルを学習することで,ネットワークを指導し,より堅牢なシーン表現を学習する。新たな信頼性推定法により得られた信頼性・信頼性の低い光線に対して, 異なる蒸留方式を用いて線レベルの擬似ラベルを蒸留することにより, 3次元シーンのより正確でロバストな形状をNeRFで学べる。既存のモデルに自己学習フレームワークを適用することで、レンダリング画像の品質が向上し、複数の設定で最先端のパフォーマンスが得られることを示す。

関連論文リスト

Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
論文参考訳（メタデータ） (2024-10-23T13:05:26Z)
NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
論文参考訳（メタデータ） (2024-03-02T22:08:10Z)
RustNeRF: Robust Neural Radiance Field with Low-Quality Images [29.289408956815727]
実世界の高品質ニューラルネットワーク(NeRF)のためのRustNeRFを提案する。実世界の入力下でのNeRFのロバスト性を改善するために,実世界の劣化モデリングを取り入れた3D対応前処理ネットワークを訓練する。本稿では,画像の劣化と復元に伴う情報損失に対処するための,暗黙的な多視点ガイダンスを提案する。
論文参考訳（メタデータ） (2024-01-06T16:54:02Z)
From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。 NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
論文参考訳（メタデータ） (2023-06-10T09:19:19Z)
Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文参考訳（メタデータ） (2023-03-26T12:24:31Z)
NeRFLiX: High-Quality Neural View Synthesis by Learning a Degradation-Driven Inter-viewpoint MiXer [44.220611552133036]
我々は、分解駆動の視点間ミキサーを学習し、NeRFLiXを提案する。また,高度に関連した高品質な訓練画像の融合が可能な視点間集約フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-13T08:36:30Z)
Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
論文参考訳（メタデータ） (2023-03-10T08:22:36Z)
GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency [31.22435282922934]
我々は、幾何認識整合性正規化を伴う数ショット設定でニューラルラジアンス場(NeRF)を正則化する新しいフレームワークを提案する。本研究では,最新の数発のNeRFモデルと比較して,競争力のある結果が得られることを示す。
論文参考訳（メタデータ） (2023-01-26T05:14:12Z)
ActiveNeRF: Learning where to See with Uncertainty Estimation [36.209200774203005]
近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
論文参考訳（メタデータ） (2022-09-18T12:09:15Z)
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文参考訳（メタデータ） (2022-09-02T17:44:50Z)
BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。 BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文参考訳（メタデータ） (2021-04-13T17:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。