論文の概要: HyperFields: Towards Zero-Shot Generation of NeRFs from Text

• arxiv url: http://arxiv.org/abs/2310.17075v1
• Date: Thu, 26 Oct 2023 00:36:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 22:42:28.350127
• Title: HyperFields: Towards Zero-Shot Generation of NeRFs from Text
• Title（参考訳）: HyperFields:テキストからのNeRFのゼロショット生成を目指して
• Authors: Sudarshan Babu, Richard Liu, Avery Zhou, Michael Maire, Greg Shakhnarovich, Rana Hanocka
• Abstract要約: テキスト条件付きニューラルラジアンスフィールド(NeRF)を1つのフォワードパスで生成するHyperFieldsを導入する。 i) テキストトークンの埋め込みからNeRF空間へのスムーズなマッピングを学習する動的ハイパーネットワーク; (ii) 個々のNeRFに符号化されたシーンを1つの動的ハイパーネットワークに蒸留するNeRF蒸留訓練。
• 参考スコア（独自算出の注目度）: 32.02523904807477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce HyperFields, a method for generating text-conditioned Neural Radiance Fields (NeRFs) with a single forward pass and (optionally) some fine-tuning. Key to our approach are: (i) a dynamic hypernetwork, which learns a smooth mapping from text token embeddings to the space of NeRFs; (ii) NeRF distillation training, which distills scenes encoded in individual NeRFs into one dynamic hypernetwork. These techniques enable a single network to fit over a hundred unique scenes. We further demonstrate that HyperFields learns a more general map between text and NeRFs, and consequently is capable of predicting novel in-distribution and out-of-distribution scenes -- either zero-shot or with a few finetuning steps. Finetuning HyperFields benefits from accelerated convergence thanks to the learned general map, and is capable of synthesizing novel scenes 5 to 10 times faster than existing neural optimization-based methods. Our ablation experiments show that both the dynamic architecture and NeRF distillation are critical to the expressivity of HyperFields.
• Abstract（参考訳）: テキスト条件付きニューラルラジアンスフィールド(NeRF)を1つのフォワードパスで(任意に)微調整で生成する手法であるHyperFieldsを紹介する。 私たちのアプローチの鍵は i) テキストトークンの埋め込みからNeRF空間へのスムーズなマッピングを学習する動的ハイパーネットワーク (II)個々のNeRFに符号化されたシーンを1つの動的ハイパーネットワークに蒸留するNeRF蒸留訓練。 これらの技術により、1つのネットワークが100以上のユニークなシーンに収まる。 さらに、ハイパーフィールドはテキストとnerfsの間のより一般的なマップを学習し、その結果、ゼロショットか数回の微調整ステップで、新しい分布内および分布外シーンを予測できることを実証する。 ハイパーフィールドの微調整は、学習された一般マップによる収束の促進から恩恵を受け、既存のニューラル最適化ベースの方法よりも5倍から10倍速く新しいシーンを合成することができる。 我々のアブレーション実験は, 動的構造とNeRF蒸留の両方がHyperFieldの表現性に重要であることを示した。

関連論文リスト

• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• HyperPlanes: Hypernetwork Approach to Rapid NeRF Adaptation [4.53411151619456]
  本稿では,推論中に勾配最適化を必要としないハイパーネットワークのパラダイムに基づく数ショットの学習手法を提案する。 我々は,少数の画像から高品質な3Dオブジェクト表現を単一ステップで生成する効率的な方法を開発した。
  論文  参考訳（メタデータ） (2024-02-02T16:10:29Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• ZeroRF: Fast Sparse View 360{\deg} Reconstruction with Zero Pretraining [28.03297623406931]
  Neural Radiance Fields (NeRF)のような現在のブレークスルーは、高忠実度画像合成を実証しているが、スパース入力ビューに苦慮している。 我々はZeroRFを提案し、その鍵となるアイデアは、カスタマイズされたDeep Image Priorを係数化されたNeRF表現に統合することである。 従来の方法とは異なり、ZeroRFはニューラルネットワークジェネレータでフィーチャーグリッドをパラメトリズし、効率的なスパースビュー360deg再構成を可能にする。
  論文  参考訳（メタデータ） (2023-12-14T18:59:32Z)
• Prompt2NeRF-PIL: Fast NeRF Generation via Pretrained Implicit Latent [61.56387277538849]
  本稿では,3次元シーンの直接条件付けと高速なNeRFパラメータ生成のための高速なNeRF生成について検討する。 Prompt2NeRF-PILは、単一の前方通過で様々な3Dオブジェクトを生成することができる。 我々は,テキストからNeRFモデルDreamFusionと画像からNeRF手法Zero-1-to-3の3次元再構成速度を3倍から5倍に高速化することを示す。
  論文  参考訳（メタデータ） (2023-12-05T08:32:46Z)
• InsertNeRF: Instilling Generalizability into NeRF with HyperNet Modules [23.340064406356174]
  ニューラル・ラジアンス・フィールド(NeRF)を新しいシーンに一般化することは大きな課題である。 InsertNeRF, INStilling gEneRalizabiliTy into NeRF。
  論文  参考訳（メタデータ） (2023-08-26T14:50:24Z)
• OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
  ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。 本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。 本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-05-24T07:36:47Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
  本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。 実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:13:54Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。