論文の概要: End-to-end View Synthesis via NeRF Attention

• arxiv url: http://arxiv.org/abs/2207.14741v2
• Date: Mon, 1 Aug 2022 03:53:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 11:04:00.936531
• Title: End-to-end View Synthesis via NeRF Attention
• Title（参考訳）: NeRFアテンションによるエンドツーエンドビュー合成
• Authors: Zelin Zhao, Jiaya Jia
• Abstract要約: ビュー合成のための単純なSeq2seqの定式化を行い、そこでは、一連の光点を光線に対応する入力色と出力色として取り出す。 神経放射場 (NeRF) に着想を得て, 上記の問題に対処するためのNeRFアテンション (NeRFA) を提案する。 NeRFAは4つのデータセット上で、NeRFとNerFormerよりも優れたパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 71.06080186332524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a simple seq2seq formulation for view synthesis where we take a set of ray points as input and output colors corresponding to the rays. Directly applying a standard transformer on this seq2seq formulation has two limitations. First, the standard attention cannot successfully fit the volumetric rendering procedure, and therefore high-frequency components are missing in the synthesized views. Second, applying global attention to all rays and pixels is extremely inefficient. Inspired by the neural radiance field (NeRF), we propose the NeRF attention (NeRFA) to address the above problems. On the one hand, NeRFA considers the volumetric rendering equation as a soft feature modulation procedure. In this way, the feature modulation enhances the transformers with the NeRF-like inductive bias. On the other hand, NeRFA performs multi-stage attention to reduce the computational overhead. Furthermore, the NeRFA model adopts the ray and pixel transformers to learn the interactions between rays and pixels. NeRFA demonstrates superior performance over NeRF and NerFormer on four datasets: DeepVoxels, Blender, LLFF, and CO3D. Besides, NeRFA establishes a new state-of-the-art under two settings: the single-scene view synthesis and the category-centric novel view synthesis. The code will be made publicly available.
• Abstract（参考訳）: 本稿では、ビュー合成のための単純なセク2セクの定式化を行い、そこでは、一組の光点を入力色として、その光に対応する出力色として取り出す。 このseq2seq定式化に標準トランスフォーマーを直接適用するには、2つの制限がある。 第一に、標準の注意はボリュームレンダリング手順に適さないため、合成ビューでは高周波成分が欠落している。 第二に、すべての光線とピクセルにグローバルな注意を向けることは極めて非効率である。 神経放射場 (NeRF) に着想を得て, 上記の問題に対処するためのNeRFアテンション (NeRFA) を提案する。 一方、NeRFAはボリュームレンダリング方程式をソフトな特徴変調法とみなしている。 このようにして、特徴変調は、nrfのようなインダクティブバイアスでトランスフォーマーを増強する。 一方、NeRFAは計算オーバーヘッドを低減するために多段階の注意を払っている。 さらに、NeRFAモデルは、光線とピクセルの相互作用を学ぶために、光線と画素変換器を採用する。 NeRFAは、DeepVoxels、Blender、LLFF、CO3Dの4つのデータセット上で、NeRFとNerFormerよりも優れたパフォーマンスを示している。 さらに、NeRFAは、単一シーンビュー合成とカテゴリ中心の新規ビュー合成という2つの設定の下で、新しい最先端技術を確立する。 コードは公開される予定だ。

関連論文リスト

• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
  最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。 画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。 本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• Multiscale Tensor Decomposition and Rendering Equation Encoding for View Synthesis [7.680742911100444]
  ニューラルレイディアンス特徴場(NRFF)と呼ばれる新しいアプローチを提案する。 NRFFは、NeRFデータセットとNSVFデータセットの両方でPSNRの1dB以上のレンダリング結果を改善する。
  論文  参考訳（メタデータ） (2023-03-07T11:21:50Z)
• Is Attention All NeRF Needs? [103.51023982774599]
  Generalizable NeRF Transformer (GNT) は、ソースビューから高速にNeRF(Neural Radiance Fields)を効率的に再構築する、純粋で統一されたトランスフォーマーベースのアーキテクチャである。 GNTは、2つのトランスフォーマーベースのステージをカプセル化することにより、一般化可能なニューラルシーン表現とレンダリングを実現する。
  論文  参考訳（メタデータ） (2022-07-27T05:09:54Z)
• Generalizable Patch-Based Neural Rendering [46.41746536545268]
  未知のシーンの新たなビューを合成できるモデル学習のための新しいパラダイムを提案する。 本手法は,シーンから採取したパッチの集合からのみ,新規シーンにおける対象光線の色を直接予測することができる。 本手法は,従来よりも少ないデータでトレーニングされた場合であっても,目立たないシーンの新たなビュー合成において,最先端のビュー合成よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-21T17:57:04Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。