Fugu-MT 論文翻訳(概要): Limitations of NERF with pre-trained Vision Features for Few-Shot 3D Reconstruction

論文の概要: Limitations of NERF with pre-trained Vision Features for Few-Shot 3D Reconstruction

arxiv url: http://arxiv.org/abs/2506.18208v1
Date: Sun, 22 Jun 2025 23:55:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-24 19:06:36.806674
Title: Limitations of NERF with pre-trained Vision Features for Few-Shot 3D Reconstruction
Title（参考訳）: Few-Shot 3D再構成のための前訓練視特徴を持つNERFの限界
Authors: Ankit Sanjyal,
Abstract要約: 最近の研究は、特にDINOから訓練済みの視覚機能を統合することで、数発の再建能力の向上を図っている。本稿では, ベースライン型NeRF, 凍結型DINO特徴量, LoRA微調整機能, マルチスケール機能融合を比較検討した。驚くべきことに、我々の実験では、すべてのDINO変種がベースラインのNeRFよりも悪く、ベースラインの14.71と比べてPSNRが12.9から13.0であることがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural Radiance Fields (NeRF) have revolutionized 3D scene reconstruction from sparse image collections. Recent work has explored integrating pre-trained vision features, particularly from DINO, to enhance few-shot reconstruction capabilities. However, the effectiveness of such approaches remains unclear, especially in extreme few-shot scenarios. In this paper, we present a systematic evaluation of DINO-enhanced NeRF models, comparing baseline NeRF, frozen DINO features, LoRA fine-tuned features, and multi-scale feature fusion. Surprisingly, our experiments reveal that all DINO variants perform worse than the baseline NeRF, achieving PSNR values around 12.9 to 13.0 compared to the baseline's 14.71. This counterintuitive result suggests that pre-trained vision features may not be beneficial for few-shot 3D reconstruction and may even introduce harmful biases. We analyze potential causes including feature-task mismatch, overfitting to limited data, and integration challenges. Our findings challenge common assumptions in the field and suggest that simpler architectures focusing on geometric consistency may be more effective for few-shot scenarios.
Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)はスパース画像からの3次元シーン再構成に革命をもたらした。最近の研究は、特にDINOから訓練済みの視覚機能を統合することで、数発の再建機能を強化している。しかし、このようなアプローチの有効性は、特に極端に数発のシナリオにおいて不明確である。本稿では, ベースライン型NeRF, 凍結型DINO特徴量, LoRA微調整型特徴量, マルチスケール機能融合を比較検討した。驚くべきことに、我々の実験では、すべてのDINO変種がベースラインのNeRFよりも悪く、ベースラインの14.71と比べてPSNRが12.9から13.0であることがわかった。この逆直感的な結果は、事前訓練された視覚特徴は、数発の3D再構成には有用ではなく、有害なバイアスをもたらすかもしれないことを示唆している。機能タスクミスマッチ、限られたデータへの過度な適合、統合上の課題など、潜在的な原因を分析します。本研究は, 現場での共通仮定に挑戦し, 幾何整合性に着目したより単純なアーキテクチャの方が, 数ショットのシナリオでより効果的である可能性が示唆された。

関連論文リスト

Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
論文参考訳（メタデータ） (2024-10-23T13:05:26Z)
ProvNeRF: Modeling per Point Provenance in NeRFs as a Stochastic Field [52.09661042881063]
テキストフィールドとしてNeRFのbfprovenance(可視な位置)をモデル化する手法を提案する。我々は、NeRF最適化におけるポイントごとの精度のモデリングにより、新しいビュー合成と不確実性推定の改善につながる情報により、モデルが強化されることを示す。
論文参考訳（メタデータ） (2024-01-16T06:19:18Z)
Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
論文参考訳（メタデータ） (2023-12-04T18:56:08Z)
Self-Evolving Neural Radiance Fields [31.124406548504794]
我々は、自己学習フレームワークを神経放射場(NeRF)に適用する、SE-NeRF(Self-Evolving Neural Radiance Fields)と呼ばれる新しいフレームワークを提案する。数発のNeRFを教師向けフレームワークに定式化し、ネットワークを誘導し、より堅牢なシーン表現を学習する。既存のモデルに自己学習フレームワークを適用することで、レンダリング画像の品質が向上し、複数の設定で最先端のパフォーマンスが達成できることを示し、評価する。
論文参考訳（メタデータ） (2023-12-02T02:28:07Z)
Shielding the Unseen: Privacy Protection through Poisoning NeRF with Spatial Deformation [59.302770084115814]
本稿では,Neural Radiance Fields(NeRF)モデルの生成機能に対して,ユーザのプライバシを保護する革新的な手法を提案する。我々の新しい中毒攻撃法は、人間の目では認識できないが、NeRFが正確に3Dシーンを再構築する能力を損なうのに十分強力である観察ビューの変化を誘発する。我々は、高品質の画像を含む29の現実世界シーンからなる2つの共通のNeRFベンチマークデータセットに対して、我々のアプローチを広範囲に検証した。
論文参考訳（メタデータ） (2023-10-04T19:35:56Z)
GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields [12.92658687936068]
我々は、GAN(Generative Adversarial Network)を利用して、現実的な画像を生成し、それを用いて、NeRFを用いた3次元シーン再構成におけるリアリズムを強化する。逆微分器を用いてシーンのパッチ分布を学習し、ラディアンスフィールド再構成に対するフィードバックを提供する。レンダリングアーティファクトは、マルチビューパスレンダリング制約を課すことで、基礎となる3D表現を直接修復する。
論文参考訳（メタデータ） (2023-06-09T17:12:35Z)
Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文参考訳（メタデータ） (2023-03-26T12:24:31Z)
DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction using Neural Radiance Fields [56.30120727729177]
DehazeNeRFは,湿潤な環境下で頑健に動作するフレームワークとして紹介する。提案手法は,複数視点のヘイズ除去,新しいビュー合成,既存手法が失敗する3次元形状再構成を成功させるものである。
論文参考訳（メタデータ） (2023-03-20T18:03:32Z)
Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
論文参考訳（メタデータ） (2023-03-10T08:22:36Z)
ActiveNeRF: Learning where to See with Uncertainty Estimation [36.209200774203005]
近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
論文参考訳（メタデータ） (2022-09-18T12:09:15Z)
Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文参考訳（メタデータ） (2022-07-04T02:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。