論文の概要: CaesarNeRF: Calibrated Semantic Representation for Few-shot
Generalizable Neural Rendering
- arxiv url: http://arxiv.org/abs/2311.15510v1
- Date: Mon, 27 Nov 2023 03:09:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 17:33:27.187848
- Title: CaesarNeRF: Calibrated Semantic Representation for Few-shot
Generalizable Neural Rendering
- Title(参考訳): caesarnerf: 限定的な汎用ニューラルネットワークレンダリングのための意味表現のキャリブレーション
- Authors: Haidong Zhu, Tianyu Ding, Tianyi Chen, Ilya Zharkov, Ram Nevatia,
Luming Liang
- Abstract要約: CaesarNeRFは、数ショットで一般化可能なニューラルレンダリングを前進させるエンドツーエンドのアプローチである。
CaesarNeRFは様々な参照ビューにまたがって最先端のパフォーマンスを提供する。
- 参考スコア(独自算出の注目度): 48.890883976966556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalizability and few-shot learning are key challenges in Neural Radiance
Fields (NeRF), often due to the lack of a holistic understanding in pixel-level
rendering. We introduce CaesarNeRF, an end-to-end approach that leverages
scene-level CAlibratEd SemAntic Representation along with pixel-level
representations to advance few-shot, generalizable neural rendering,
facilitating a holistic understanding without compromising high-quality
details. CaesarNeRF explicitly models pose differences of reference views to
combine scene-level semantic representations, providing a calibrated holistic
understanding. This calibration process aligns various viewpoints with precise
location and is further enhanced by sequential refinement to capture varying
details. Extensive experiments on public datasets, including LLFF, Shiny,
mip-NeRF 360, and MVImgNet, show that CaesarNeRF delivers state-of-the-art
performance across varying numbers of reference views, proving effective even
with a single reference image. The project page of this work can be found at
https://haidongz-usc.github.io/project/caesarnerf.
- Abstract(参考訳): 一般化可能性と少数ショット学習は、しばしばピクセルレベルのレンダリングにおける全体的理解が欠如しているため、Neural Radiance Fields(NeRF)の重要な課題である。
我々は,シーンレベルのキャリブレーションされた意味表現とピクセルレベルの表現を併用したエンドツーエンドのアプローチであるcaesarnerfを紹介する。
CaesarNeRFは、シーンレベルのセマンティック表現を組み合わせるために参照ビューの違いを明示的に表現し、キャリブレーションされた全体論的理解を提供する。
このキャリブレーションプロセスは、様々な視点を正確な位置と整列させ、様々な詳細を捉えるために逐次改良によってさらに強化される。
LLFF、Shiny、mip-NeRF 360、MVImgNetなどの公開データセットに関する大規模な実験は、CaesarNeRFが様々な参照ビューにわたって最先端のパフォーマンスを提供し、単一の参照イメージでも有効であることを示した。
この作業のプロジェクトページは、https://haidongz-usc.github.io/project/caesarnerfで見ることができる。
関連論文リスト
- ProvNeRF: Modeling per Point Provenance in NeRFs as a Stochastic Process [12.534255228953741]
ニューラル放射場(NeRF)は様々な用途で人気を集めている。
彼らはスパースビュー設定の課題に直面し、ボリュームレンダリングの十分な制約を欠いている。
ProvNeRF(ProvNeRF)は、ポイントごとの証明を組み込むことで、従来のNeRF表現を豊かにするモデルである。
論文 参考訳(メタデータ) (2024-01-16T06:19:18Z) - SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with
Simpler Solutions [6.9980855647933655]
NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。
我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。
上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
論文 参考訳(メタデータ) (2023-09-07T18:02:57Z) - Enhancing NeRF akin to Enhancing LLMs: Generalizable NeRF Transformer
with Mixture-of-View-Experts [88.23732496104667]
クロスシーンの一般化可能なNeRFモデルは、NeRFフィールドの新たなスポットライトとなっている。
我々は、大規模言語モデルから強力なMixture-of-Experts(MoE)のアイデアを"神経化"アーキテクチャにブリッジする。
提案手法は,GNT-MOVE (Mixture-of-View-Experts) とよばれるモデルで,未知のシーンに移動する際の最先端の結果を実験的に示す。
論文 参考訳(メタデータ) (2023-08-22T21:18:54Z) - Generalizable Patch-Based Neural Rendering [46.41746536545268]
未知のシーンの新たなビューを合成できるモデル学習のための新しいパラダイムを提案する。
本手法は,シーンから採取したパッチの集合からのみ,新規シーンにおける対象光線の色を直接予測することができる。
本手法は,従来よりも少ないデータでトレーニングされた場合であっても,目立たないシーンの新たなビュー合成において,最先端のビュー合成よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-07-21T17:57:04Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳(メタデータ) (2022-07-12T17:52:04Z) - SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single
Image [85.43496313628943]
本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。
SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。
NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2022-04-02T19:32:42Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳(メタデータ) (2021-12-31T11:56:01Z) - NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。
提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
論文 参考訳(メタデータ) (2021-12-03T07:33:47Z) - pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。
本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。
いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
論文 参考訳(メタデータ) (2020-12-03T18:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。