論文の概要: FewShotNeRF: Meta-Learning-based Novel View Synthesis for Rapid Scene-Specific Adaptation

• arxiv url: http://arxiv.org/abs/2408.04803v1
• Date: Fri, 9 Aug 2024 01:13:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 16:58:32.980638
• Title: FewShotNeRF: Meta-Learning-based Novel View Synthesis for Rapid Scene-Specific Adaptation
• Title（参考訳）: FewShotNeRF:ラピッドシーン特化適応のためのメタラーニングに基づく新しいビュー合成
• Authors: Piraveen Sivakumar, Paul Janson, Jathushan Rajasegaran, Thanuja Ambegoda,
• Abstract要約: 我々はFewShotNeRFを提案し、限られたマルチビュー画像を持つ現実世界のオブジェクトの新しいビューを生成する。 我々のメタラーニングプロセスは、カテゴリ内で共有された幾何学とテクスチャをキャプチャすることである。 本研究では, メタラーニングの有効性を実証的に実証し, 高品質なオブジェクトの新規なビュー生成におけるメタラーニングの可能性を示す。
• 参考スコア（独自算出の注目度）: 3.9116408591208285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we address the challenge of generating novel views of real-world objects with limited multi-view images through our proposed approach, FewShotNeRF. Our method utilizes meta-learning to acquire optimal initialization, facilitating rapid adaptation of a Neural Radiance Field (NeRF) to specific scenes. The focus of our meta-learning process is on capturing shared geometry and textures within a category, embedded in the weight initialization. This approach expedites the learning process of NeRFs and leverages recent advancements in positional encodings to reduce the time required for fitting a NeRF to a scene, thereby accelerating the inner loop optimization of meta-learning. Notably, our method enables meta-learning on a large number of 3D scenes to establish a robust 3D prior for various categories. Through extensive evaluations on the Common Objects in 3D open source dataset, we empirically demonstrate the efficacy and potential of meta-learning in generating high-quality novel views of objects.
• Abstract（参考訳）: 本稿では,提案手法であるFewShotNeRFを用いて,限られたマルチビュー画像を持つ現実世界のオブジェクトの新たなビューを生成するという課題に対処する。 メタラーニングを利用して最適な初期化を行い,ニューラルラジアンス場(NeRF)を特定のシーンに迅速に適応させる。 メタラーニングプロセスの焦点は、重み初期化に埋め込まれたカテゴリ内の共有幾何とテクスチャをキャプチャすることである。 このアプローチは,NeRFの学習過程を高速化し,位置符号化の最近の進歩を活用して,NeRFをシーンに適合させるために必要な時間を短縮し,メタラーニングの内ループ最適化を高速化する。 特に,本手法では,様々なカテゴリに先立って,多数の3Dシーンをメタラーニングすることで,ロバストな3Dを構築できる。 3DオープンソースデータセットにおけるCommon Objectsの広範な評価を通じて、我々は、高品質なオブジェクトの新規ビューを生成するためのメタラーニングの有効性と可能性を実証的に実証した。

関連論文リスト

• SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields [9.606992888590757]
  我々は,多層パーセプトロンを用いてシーンの密度と放射場を暗黙の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。 本研究では, 既往のシーンの放射界知識を新しいモデルに転送するための, 不確実な表面知識蒸留戦略を提案する。 実験の結果,提案手法はNeRF-Synthetic, LLFF, TanksAndTemplesデータセット上での連続学習NeRFの最先端のレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2024-09-06T03:36:12Z)
• ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
  単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。 提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
  論文  参考訳（メタデータ） (2024-09-03T16:53:19Z)
• SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization [7.769607568805291]
  そこで本研究では,数枚のカラー画像から3次元形状とビュー依存の外観を復元する新しい手法を提案する。 本手法は,信号距離関数 (Signed Distance Function, SDF) と放射場 (Radiance Field) の形式で暗黙的なニューラル表現を学習する。 我々の貢献の鍵は、SDFフィールドがレベルセットの近くでできるだけ直線的であることを奨励する、暗黙の神経形状関数学習戦略である。
  論文  参考訳（メタデータ） (2024-07-19T12:36:36Z)
• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• Federated Multi-View Synthesizing for Metaverse [52.59476179535153]
  メタバースは没入型エンターテイメント、教育、ビジネスアプリケーションを提供すると期待されている。 無線ネットワーク上のバーチャルリアリティ(VR)伝送は、データと計算集約である。 我々は,メタバースにおける無線コンテンツ配信のために,効率的な合成,記憶,通信資源を提供する,新しい多視点合成フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-12-18T13:51:56Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• Efficient-3DiM: Learning a Generalizable Single-image Novel-view Synthesizer in One Day [63.96075838322437]
  シングルイメージのノベルビューシンセサイザーを学習するためのフレームワークを提案する。 当社のフレームワークは,トレーニング時間を10日以内から1日未満に短縮することが可能です。
  論文  参考訳（メタデータ） (2023-10-04T17:57:07Z)
• Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
  本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。 スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。 対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-17T17:40:52Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• Neural Volumetric Object Selection [126.04480613166194]
  マルチプレーン画像(MPI)やニューラルレイディアンスフィールド(NeRF)のような,神経体積の3次元表現における物体の選択手法を提案する。 提案手法では,前景と背景の2次元ユーザを1つの視点で記述し,対象物の3次元セグメンテーションを自動的に推定する。
  論文  参考訳（メタデータ） (2022-05-30T08:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。