Fugu-MT 論文翻訳(概要): ActiveNeRF: Learning where to See with Uncertainty Estimation

論文の概要: ActiveNeRF: Learning where to See with Uncertainty Estimation

arxiv url: http://arxiv.org/abs/2209.08546v1
Date: Sun, 18 Sep 2022 12:09:15 GMT
ステータス: 処理完了
システム内更新日: 2022-09-20 18:09:59.534508
Title: ActiveNeRF: Learning where to See with Uncertainty Estimation
Title（参考訳）: ActiveNeRF: 不確実性推定で見る場所を学ぶ
Authors: Xuran Pan, Zihang Lai, Shiji Song, and Gao Huang
Abstract要約: 近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
参考スコア（独自算出の注目度）: 36.209200774203005
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, Neural Radiance Fields (NeRF) has shown promising performances on reconstructing 3D scenes and synthesizing novel views from a sparse set of 2D images. Albeit effective, the performance of NeRF is highly influenced by the quality of training samples. With limited posed images from the scene, NeRF fails to generalize well to novel views and may collapse to trivial solutions in unobserved regions. This makes NeRF impractical under resource-constrained scenarios. In this paper, we present a novel learning framework, ActiveNeRF, aiming to model a 3D scene with a constrained input budget. Specifically, we first incorporate uncertainty estimation into a NeRF model, which ensures robustness under few observations and provides an interpretation of how NeRF understands the scene. On this basis, we propose to supplement the existing training set with newly captured samples based on an active learning scheme. By evaluating the reduction of uncertainty given new inputs, we select the samples that bring the most information gain. In this way, the quality of novel view synthesis can be improved with minimal additional resources. Extensive experiments validate the performance of our model on both realistic and synthetic scenes, especially with scarcer training data. Code will be released at \url{https://github.com/LeapLabTHU/ActiveNeRF}.
Abstract（参考訳）: 近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。効果的ではあるが、nerfの性能はトレーニングサンプルの品質に大きく影響される。シーンからの限られたポーズ画像により、NeRFは新しいビューにうまく一般化できず、観測されていない領域で自明な解に崩壊する可能性がある。これにより、NeRFはリソース制約のシナリオでは実用的ではない。本稿では,制約付き入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。具体的には、まず不確実性推定をNeRFモデルに組み込み、少ない観測条件下で頑健性を確保し、NeRFがシーンをどのように理解するかを解釈する。そこで本研究では,アクティブな学習手法に基づいて,既存のトレーニングセットを新たに取得したサンプルで補うことを提案する。新しい入力が与えられた不確実性の低減を評価することにより、最も情報を得るサンプルを選択する。このようにして、新たなビュー合成の品質を最小限の追加リソースで改善することができる。特にスカーサーのトレーニングデータを用いて,実写シーンと合成シーンの両方において,モデルの性能を検証する広範な実験を行った。コードは \url{https://github.com/LeapLabTHU/ActiveNeRF} でリリースされる。

関連論文リスト

SSNeRF: Sparse View Semi-supervised Neural Radiance Fields with Augmentation [21.454340647455236]
SSNeRF(SSNeRF)は、教師の枠組みに基づくスパースビュー半教師付きNeRF法である。私たちのキーとなるアイデアは、徐々に厳しい視界劣化を伴うNeRFモジュールに挑戦することです。提案手法では,教師のNeRFは信頼度スコアとともに新規な視点を生成し,学生のNeRFは信頼度の高い擬似ラベルから学習する。
論文参考訳（メタデータ） (2024-08-17T09:00:37Z)
IOVS4NeRF:Incremental Optimal View Selection for Large-Scale NeRFs [3.9248546555042365]
本稿では,制限された入力予算内での3Dシーンのモデル化を目的とした,革新的なインクリメンタル・インクリメンタルなビュー選択フレームワークIOVS4NeRFを提案する。最高の情報ゲインを提供するビューを選択することで、新規ビュー合成の品質を最小限の追加リソースで向上させることができる。
論文参考訳（メタデータ） (2024-07-26T09:11:25Z)
RustNeRF: Robust Neural Radiance Field with Low-Quality Images [29.289408956815727]
実世界の高品質ニューラルネットワーク(NeRF)のためのRustNeRFを提案する。実世界の入力下でのNeRFのロバスト性を改善するために,実世界の劣化モデリングを取り入れた3D対応前処理ネットワークを訓練する。本稿では,画像の劣化と復元に伴う情報損失に対処するための,暗黙的な多視点ガイダンスを提案する。
論文参考訳（メタデータ） (2024-01-06T16:54:02Z)
Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
論文参考訳（メタデータ） (2023-12-04T18:56:08Z)
Self-Evolving Neural Radiance Fields [31.124406548504794]
我々は、自己学習フレームワークを神経放射場(NeRF)に適用する、SE-NeRF(Self-Evolving Neural Radiance Fields)と呼ばれる新しいフレームワークを提案する。数発のNeRFを教師向けフレームワークに定式化し、ネットワークを誘導し、より堅牢なシーン表現を学習する。既存のモデルに自己学習フレームワークを適用することで、レンダリング画像の品質が向上し、複数の設定で最先端のパフォーマンスが達成できることを示し、評価する。
論文参考訳（メタデータ） (2023-12-02T02:28:07Z)
SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
論文参考訳（メタデータ） (2023-09-07T18:02:57Z)
Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文参考訳（メタデータ） (2023-03-26T12:24:31Z)
StegaNeRF: Embedding Invisible Information within Neural Radiance Fields [61.653702733061785]
我々は、NeRFレンダリングにステガノグラフィー情報を埋め込む方法であるStegaNeRFを提案する。我々は、NeRFで描画された画像から正確な隠れ情報抽出を可能にする最適化フレームワークを設計する。 StegaNeRFは、NeRFレンダリングにカスタマイズ可能で、認識不能で、回復不能な情報を注入する新しい問題に対する最初の調査である。
論文参考訳（メタデータ） (2022-12-03T12:14:19Z)
AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
論文参考訳（メタデータ） (2022-11-17T17:22:28Z)
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文参考訳（メタデータ） (2022-09-02T17:44:50Z)
NeuSample: Neural Sample Field for Efficient View Synthesis [129.10351459066501]
本稿では,ニューラルサンプル場を命名する軽量モジュールを提案する。提案したサンプルフィールドは、線をサンプル分布にマッピングし、点座標に変換し、ボリュームレンダリングのために放射場に供給することができる。我々はNeuSampleが高速な推論速度を保ちながら、NeRFよりも優れたレンダリング品質を実現することを示す。
論文参考訳（メタデータ） (2021-11-30T16:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。