Fugu-MT 論文翻訳(概要): Where and How: Mitigating Confusion in Neural Radiance Fields from Sparse Inputs

論文の概要: Where and How: Mitigating Confusion in Neural Radiance Fields from Sparse Inputs

arxiv url: http://arxiv.org/abs/2308.02908v1
Date: Sat, 5 Aug 2023 15:59:15 GMT
ステータス: 処理完了
システム内更新日: 2023-08-08 17:58:14.719403
Title: Where and How: Mitigating Confusion in Neural Radiance Fields from Sparse Inputs
Title（参考訳）: where and how: スパース入力からの神経放射野の混乱の緩和
Authors: Yanqi Bao, Yuxin Li, Jing Huo, Tianyu Ding, Xinyue Liang, Wenbin Li and Yang Gao
Abstract要約: 本稿では,新たな学習フレームワークであるWaH-NeRFについて述べる。ポーズ摂動に基づく半教師付きNeRF学習パラダイムと、予測混乱を軽減するためのPixel-Patch対応損失を提案する。
参考スコア（独自算出の注目度）: 22.9859132310377
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural Radiance Fields from Sparse input} (NeRF-S) have shown great potential in synthesizing novel views with a limited number of observed viewpoints. However, due to the inherent limitations of sparse inputs and the gap between non-adjacent views, rendering results often suffer from over-fitting and foggy surfaces, a phenomenon we refer to as "CONFUSION" during volume rendering. In this paper, we analyze the root cause of this confusion and attribute it to two fundamental questions: "WHERE" and "HOW". To this end, we present a novel learning framework, WaH-NeRF, which effectively mitigates confusion by tackling the following challenges: (i)"WHERE" to Sample? in NeRF-S -- we introduce a Deformable Sampling strategy and a Weight-based Mutual Information Loss to address sample-position confusion arising from the limited number of viewpoints; and (ii) "HOW" to Predict? in NeRF-S -- we propose a Semi-Supervised NeRF learning Paradigm based on pose perturbation and a Pixel-Patch Correspondence Loss to alleviate prediction confusion caused by the disparity between training and testing viewpoints. By integrating our proposed modules and loss functions, WaH-NeRF outperforms previous methods under the NeRF-S setting. Code is available https://github.com/bbbbby-99/WaH-NeRF.
Abstract（参考訳）: スパース・インプット(NeRF-S)からのニューラル・ラジアンス・フィールドは、観測された視点の限られた新規な視点を合成する大きな可能性を示している。しかしながら、少ない入力の固有の制限と非隣接ビュー間のギャップのため、レンダリング結果はしばしば過剰なフィッティングと霧のような表面、つまりボリュームレンダリング中に私たちが「融合」と呼ぶ現象に苦しむ。本稿では,この混乱の根本原因を分析し,その原因を「どこで」と「どのように」の2つの基本的な問いに分類する。この目的のために,新たな学習フレームワークであるWaH-NeRFを提案する。サンプルの「場所」は? NeRF-Sでは、限られた視点から生じるサンプル配置の混乱に対処するため、変形可能なサンプリング戦略と重みに基づく相互情報損失を導入する。 (ii)「どのように」予測するか? NeRF-Sでは、ポーズの摂動に基づく半教師付きNeRF学習パラダイムとPixel-Patch対応損失を提案し、トレーニングとテストの視点の相違による予測混乱を軽減する。提案するモジュールと損失関数を統合することで,従来の方法よりもNeRF-S設定で優れていた。コードはhttps://github.com/bbbbby-99/WaH-NeRFで入手できる。

関連論文リスト

Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
論文参考訳（メタデータ） (2024-10-23T13:05:26Z)
OPONeRF: One-Point-One NeRF for Robust Neural Rendering [70.56874833759241]
そこで我々は,ロバストなシーンレンダリングのためのOne-Point-One NeRF (OPONeRF) フレームワークを提案する。物体の動き、光の変化、データ汚染といった小さなが予測不可能な摂動は、現実の3Dシーンに広く存在している。実験の結果,OPONeRFは各種評価指標において最先端のNeRFよりも優れていた。
論文参考訳（メタデータ） (2024-09-30T07:49:30Z)
NeRFVS: Neural Radiance Fields for Free View Synthesis via Geometry Scaffolds [60.1382112938132]
室内における自由ナビゲーションを可能にする新しいニューラル放射場(NeRF)法であるNeRFVSを提案する。 NeRFは、トレーニングビューと大きく異なる新規ビューに苦しむ一方で、入力ビューと同様の新規ビューの画像のレンダリングにおいて、印象的なパフォーマンスを実現している。
論文参考訳（メタデータ） (2023-04-13T06:40:08Z)
FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization [32.1581416980828]
本稿では、従来の手法よりも優れた驚くほど単純なベースラインである周波数正規化NeRF(FreeNeRF)を提案する。我々は、数ショットのニューラルレンダリングにおける重要な課題を分析し、NeRFのトレーニングにおいて周波数が重要な役割を果たすことを発見した。
論文参考訳（メタデータ） (2023-03-13T18:59:03Z)
Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
論文参考訳（メタデータ） (2023-03-10T08:22:36Z)
Exact-NeRF: An Exploration of a Precise Volumetric Parameterization for Neural Radiance Fields [16.870604081967866]
本論文は、mip-NeRF近似に対する正確な解析解を提供するための最初のアプローチである。このような正確な定式化は、mip-NeRFの精度と一致し、さらに、さらなる修正を伴わずに、より困難なシナリオへの自然な拡張を提供することを示す。我々の貢献は、初期のNeRF研究におけるフラストタル近似の未解明問題に対処することと、将来のNeRF拡張における解析的解決の可能性についての洞察を提供することである。
論文参考訳（メタデータ） (2022-11-22T13:56:33Z)
ActiveNeRF: Learning where to See with Uncertainty Estimation [36.209200774203005]
近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
論文参考訳（メタデータ） (2022-09-18T12:09:15Z)
Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文参考訳（メタデータ） (2022-07-04T02:27:07Z)
Sampling-free obstacle gradients and reactive planning in Neural Radiance Fields (NeRF) [43.33810082237658]
予め訓練したNeRFに半径の占有率を推定する能力を加えることで、ユークリッド符号距離場(ESDF)への近似を効果的に学習していることが示される。この結果から,暗黙的表現におけるサンプリング不要な障害物回避計画が極めて高速であることが示唆された。
論文参考訳（メタデータ） (2022-05-03T09:32:02Z)
InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文参考訳（メタデータ） (2021-12-31T11:56:01Z)
NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文参考訳（メタデータ） (2021-06-09T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。