論文の概要: CaesarNeRF: Calibrated Semantic Representation for Few-shot Generalizable Neural Rendering

• arxiv url: http://arxiv.org/abs/2311.15510v2
• Date: Wed, 10 Jul 2024 03:41:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 22:09:30.946837
• Title: CaesarNeRF: Calibrated Semantic Representation for Few-shot Generalizable Neural Rendering
• Title（参考訳）: CaesarNeRF:Few-shot Generalizable Neural RenderingのためのCalibrated Semantic Representation
• Authors: Haidong Zhu, Tianyu Ding, Tianyi Chen, Ilya Zharkov, Ram Nevatia, Luming Liang,
• Abstract要約: CaesarNeRFは、数ショットで一般化可能なニューラルレンダリングを前進させるエンドツーエンドのアプローチである。 CaesarNeRFは様々な参照ビューにまたがって最先端のパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 46.14019816734402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalizability and few-shot learning are key challenges in Neural Radiance Fields (NeRF), often due to the lack of a holistic understanding in pixel-level rendering. We introduce CaesarNeRF, an end-to-end approach that leverages scene-level CAlibratEd SemAntic Representation along with pixel-level representations to advance few-shot, generalizable neural rendering, facilitating a holistic understanding without compromising high-quality details. CaesarNeRF explicitly models pose differences of reference views to combine scene-level semantic representations, providing a calibrated holistic understanding. This calibration process aligns various viewpoints with precise location and is further enhanced by sequential refinement to capture varying details. Extensive experiments on public datasets, including LLFF, Shiny, mip-NeRF 360, and MVImgNet, show that CaesarNeRF delivers state-of-the-art performance across varying numbers of reference views, proving effective even with a single reference image.
• Abstract（参考訳）: 一般化可能性と少数ショット学習は、しばしばピクセルレベルのレンダリングにおける全体的理解が欠如しているため、Neural Radiance Fields(NeRF)の鍵となる課題である。 CaesarNeRFはシーンレベルのCalibratEd SemAntic Representationとピクセルレベルの表現を併用したエンドツーエンドのアプローチである。 CaesarNeRFは、シーンレベルのセマンティック表現を組み合わせるために参照ビューの違いを明示的に表現し、キャリブレーションされた全体論的理解を提供する。 このキャリブレーションプロセスは、様々な視点を正確な位置と整列させ、様々な詳細を捉えるために逐次改良によってさらに強化される。 LLFF、Shiny、mip-NeRF 360、MVImgNetなどの公開データセットに関する大規模な実験は、CaesarNeRFが様々な参照ビューにわたって最先端のパフォーマンスを提供し、単一の参照イメージでも有効であることを示した。

関連論文リスト

• GMT: Enhancing Generalizable Neural Rendering via Geometry-Driven Multi-Reference Texture Transfer [40.70828307740121]
  新たなビュー合成(NVS)は、多視点画像を用いて任意の視点で画像を生成することを目的としており、ニューラルレイディアンス場(NeRF)からの最近の知見は、顕著な改善に寄与している。 G-NeRFはシーンごとの最適化がないため、特定のシーンの細部を表現するのに依然として苦労している。 G-NeRF用に設計されたプラグアンドプレイモジュールとして利用可能な幾何駆動型マルチ参照テクスチャ転送ネットワーク(GMT)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T13:30:51Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands [51.305421495638434]
  ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。 本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T00:42:06Z)
• Mask-Based Modeling for Neural Radiance Fields [20.728248301818912]
  本研究では,マスクベースモデリングにより3次元暗黙表現学習を大幅に改善できることを明らかにする。 MRVM-NeRFは,各光線に沿った部分的マスキング特徴から,シーンの完全な表現を予測するための自己教師付き事前学習対象である。 この事前学習目標により、MRVM-NeRFは、幾何学的先行として異なる点とビュー間の相関をよりよく利用することができる。
  論文  参考訳（メタデータ） (2023-04-11T04:12:31Z)
• Multiscale Tensor Decomposition and Rendering Equation Encoding for View Synthesis [7.680742911100444]
  ニューラルレイディアンス特徴場(NRFF)と呼ばれる新しいアプローチを提案する。 NRFFは、NeRFデータセットとNSVFデータセットの両方でPSNRの1dB以上のレンダリング結果を改善する。
  論文  参考訳（メタデータ） (2023-03-07T11:21:50Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。