論文の概要: ManifoldNeRF: View-dependent Image Feature Supervision for Few-shot Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2310.13670v1
• Date: Fri, 20 Oct 2023 17:13:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 21:45:56.035090
• Title: ManifoldNeRF: View-dependent Image Feature Supervision for Few-shot Neural Radiance Fields
• Title（参考訳）: ManifoldNeRF:Few-shot Neural Radiance Fieldのためのビュー依存画像特徴監督
• Authors: Daiju Kanaoka, Motoharu Sonogashira, Hakaru Tamukoh, Yasutomo Kawanishi
• Abstract要約: DietNeRFはNeRF(Neural Radiance Fields)の拡張である DietNeRFは、入力画像が異なる視点でキャプチャされた場合でも、事前訓練された特徴抽出器が同じ特徴を出力すべきであると仮定する。 未知視点で特徴ベクトルを監視できるManifoldNeRFを提案する。
• 参考スコア（独自算出の注目度）: 1.8512070255576754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Novel view synthesis has recently made significant progress with the advent of Neural Radiance Fields (NeRF). DietNeRF is an extension of NeRF that aims to achieve this task from only a few images by introducing a new loss function for unknown viewpoints with no input images. The loss function assumes that a pre-trained feature extractor should output the same feature even if input images are captured at different viewpoints since the images contain the same object. However, while that assumption is ideal, in reality, it is known that as viewpoints continuously change, also feature vectors continuously change. Thus, the assumption can harm training. To avoid this harmful training, we propose ManifoldNeRF, a method for supervising feature vectors at unknown viewpoints using interpolated features from neighboring known viewpoints. Since the method provides appropriate supervision for each unknown viewpoint by the interpolated features, the volume representation is learned better than DietNeRF. Experimental results show that the proposed method performs better than others in a complex scene. We also experimented with several subsets of viewpoints from a set of viewpoints and identified an effective set of viewpoints for real environments. This provided a basic policy of viewpoint patterns for real-world application. The code is available at https://github.com/haganelego/ManifoldNeRF_BMVC2023
• Abstract（参考訳）: ニューラル・レージアンス・フィールド(NeRF)の出現により、新しいビュー合成が大きな進歩を遂げた。 DietNeRFは、入力画像のない未知の視点に新たなロス関数を導入することで、少数の画像からこのタスクを実現することを目的としたNeRFの拡張である。 損失関数は、入力画像が同じオブジェクトを含むため、異なる視点でキャプチャされた場合でも、事前訓練された特徴抽出器が同じ特徴を出力すべきであると仮定する。 しかし、この仮定は理想的ではあるが、実際には視点が連続的に変化し、特徴ベクトルも連続的に変化することが知られている。 したがって、その仮定は訓練に害を与える可能性がある。 この有害なトレーニングを避けるため、近隣の既知の視点から補間された特徴を用いた未知視点で特徴ベクトルを監視できるManifoldNeRFを提案する。 補間された特徴によって各未知の視点を適切に監視するため、ボリューム表現はDietNeRFよりもよく学習される。 実験の結果,提案手法は複雑な場面において他の手法よりも優れた性能を示すことがわかった。 また、視点の集合から視点のいくつかのサブセットを実験し、実環境に対する効果的な視点の集合を同定した。 これにより、現実世界のアプリケーションに対する視点パターンの基本的なポリシーが提供された。 コードはhttps://github.com/haganelego/manifoldnerf_bmvc2023で入手できる。

関連論文リスト

• Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
  最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。 画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。 本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
  NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。 我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。 上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
  論文  参考訳（メタデータ） (2023-09-07T18:02:57Z)
• ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields [9.67057831710618]
  スパース入力ビューにおけるニューラルレイディアンス場(NeRF)のトレーニングは、過度な適合と不正確なシーン深さ推定につながる。 我々は、NeRFを再構成して、与えられた視点から3Dポイントの可視性を直接出力し、可視性制約でトレーニング時間を短縮する。 我々のモデルは、学習した先行データを含む、競合するスパース入力のNeRFモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-04-28T18:26:23Z)
• X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views [49.55319833743988]
  この記事では、まれに議論されるが重要な設定に焦点を当てる。複数のシーンを表現可能な1つのモデルをトレーニングできるだろうか? 不十分な見解は、非常に疎外で、ほとんど重複しない見解に言及する。 X-NeRFは,座標に基づくマッピングではなく,一般的なシーン完了過程を学習する,完全に明示的なアプローチである。
  論文  参考訳（メタデータ） (2022-10-11T04:29:26Z)
• VM-NeRF: Tackling Sparsity in NeRF with View Morphing [19.418298933260953]
  NeRFは、様々な視点から得られた入力画像の有限セットを用いて、連続的なニューラルシーン表現を学習することを目的としている。 本稿では,ビューモーフィングを用いた視点間の幾何的一貫した画像遷移を生成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-10-09T09:59:46Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Ray Priors through Reprojection: Improving Neural Radiance Fields for Novel View Extrapolation [35.47411859184933]
  本研究では,(1)トレーニング画像が対象をうまく表現できる,(2)トレーニング画像とテスト視点の分布との間には顕著な相違点がある,という新しい視点外挿設定について検討する。 ランダムな光線キャスティングポリシーを提案する。 観測された光線の視方向から予め計算された光アトラスは、外挿された視界のレンダリング品質をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-05-12T07:21:17Z)
• View Synthesis with Sculpted Neural Points [64.40344086212279]
  暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。 本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。 レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
  論文  参考訳（メタデータ） (2022-05-12T03:54:35Z)
• Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis [86.38901313994734]
  数枚の画像から推定した3次元ニューラルシーン表現であるDietNeRFを提案する。 NeRFはマルチビュー一貫性によってシーンの連続的なボリューム表現を学習する。 我々は,新しいポーズにおけるリアルなレンダリングを促進する補助的なセマンティック一貫性損失を導入する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:31Z)
• Data Augmentation for Object Detection via Differentiable Neural Rendering [71.00447761415388]
  注釈付きデータが乏しい場合、堅牢なオブジェクト検出器を訓練することは困難です。 この問題に対処する既存のアプローチには、ラベル付きデータからラベル付きデータを補間する半教師付き学習が含まれる。 オブジェクト検出のためのオフラインデータ拡張手法を導入し、新しいビューでトレーニングデータを意味的に補間する。
  論文  参考訳（メタデータ） (2021-03-04T06:31:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。