論文の概要: ABLE-NeRF: Attention-Based Rendering with Learnable Embeddings for Neural Radiance Field

• arxiv url: http://arxiv.org/abs/2303.13817v1
• Date: Fri, 24 Mar 2023 05:34:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 15:36:44.289714
• Title: ABLE-NeRF: Attention-Based Rendering with Learnable Embeddings for Neural Radiance Field
• Title（参考訳）: ABLE-NeRF:ニューラルラジアンスフィールドのための学習可能な埋め込みによる注意に基づくレンダリング
• Authors: Zhe Jun Tang, Tat-Jen Cham, Haiyu Zhao
• Abstract要約: 我々は,光線に沿ったボリュームに自己注意型フレームワークを導入することで,物理ベースのVRアプローチに代わる方法を提案する。 ABLE-NeRFと呼ばれるこの手法は、レンダリングにおける光沢のある表面のぼやけを著しく低減し、先行技術に欠ける現実的な半透明な表面を生成する。
• 参考スコア（独自算出の注目度）: 20.986012773294714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Field (NeRF) is a popular method in representing 3D scenes by optimising a continuous volumetric scene function. Its large success which lies in applying volumetric rendering (VR) is also its Achilles' heel in producing view-dependent effects. As a consequence, glossy and transparent surfaces often appear murky. A remedy to reduce these artefacts is to constrain this VR equation by excluding volumes with back-facing normal. While this approach has some success in rendering glossy surfaces, translucent objects are still poorly represented. In this paper, we present an alternative to the physics-based VR approach by introducing a self-attention-based framework on volumes along a ray. In addition, inspired by modern game engines which utilise Light Probes to store local lighting passing through the scene, we incorporate Learnable Embeddings to capture view dependent effects within the scene. Our method, which we call ABLE-NeRF, significantly reduces `blurry' glossy surfaces in rendering and produces realistic translucent surfaces which lack in prior art. In the Blender dataset, ABLE-NeRF achieves SOTA results and surpasses Ref-NeRF in all 3 image quality metrics PSNR, SSIM, LPIPS.
• Abstract（参考訳）: neural radiance field(nerf)は、連続ボリュームシーン機能を最適化して3dシーンを表現する一般的な方法である。 ボリュームレンダリング(VR)を適用した大きな成功は、ビュー依存効果を生み出す際のアキレスのヒールでもある。 その結果、光沢と透明な表面はしばしば濁っている。 これらのアーティファクトを減らすための治療法は、後ろ向きの正常なボリュームを除外することで、このVR方程式を制約することである。 このアプローチは光沢のある表面をレンダリングすることに成功したが、半透明なオブジェクトはいまだに表現に乏しい。 本稿では,光線に沿ったボリュームに自己注意型フレームワークを導入することで,物理ベースのVRアプローチに代わる手法を提案する。 また、光プローブを利用してシーンを透過するローカル照明を記憶する現代のゲームエンジンにインスパイアされ、Learningable Embeddingsを組み込んでシーン内のビュー依存効果をキャプチャする。 ABLE-NeRFと呼ばれる本手法は,レンダリングにおける光沢表面を著しく低減し,先行技術に欠ける現実的な半透明表面を生成する。 Blenderデータセットでは、ABLE-NeRFはSOTAの結果を達成し、3つの画像品質指標PSNR、SSIM、LPIPSでRef-NeRFを上回っている。

関連論文リスト

• VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points [4.962171160815189]
  仮想現実システムの高性能な要求は、3DGSのような高速なシーン表現を活用する上で課題となる。 これらの障害に対する有望な解決策として、ファベレーテッドレンダリングを提案する。 本手法では, 周辺視の3DGSのスムーズなレンダリングと融合した, 周辺領域の神経点レンダリングのシャープで詳細な出力を生かした, 仮想現実感のための新たなファブリックレンダリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-23T14:54:48Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D Scene Representations [34.836151514152746]
  本研究では,自動エンコーダとNeRFを組み合わせることで,遅延特徴を描画し,畳み込み復号する手法を提案する。 結果として、潜在空間のNeRFは、標準色空間のNeRFよりも高品質で新しいビューを生成することができる。 AEアーキテクチャを小さくすることで効率と画質のトレードオフを制御でき、性能をわずかに低下させるだけで13倍以上高速なレンダリングを実現できます。
  論文  参考訳（メタデータ） (2023-10-27T03:52:08Z)
• NeRRF: 3D Reconstruction and View Synthesis for Transparent and Specular Objects with Neural Refractive-Reflective Fields [23.099784003061618]
  ニューラル放射場(NeRF)に屈折反射場を導入する NeRFは直線線を使用し、屈折や反射によって引き起こされる複雑な光路の変化に対処できない。 本稿では,効果的かつ効果的なアンチエイリアスを実現するための仮想コーンスーパーサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-22T17:59:12Z)
• Dynamic Mesh-Aware Radiance Fields [75.59025151369308]
  本稿では,メッシュとNeRFの双方向結合をレンダリングおよびシミュレーション時に設計する。 ハイブリッドシステムはメッシュ挿入のための視覚リアリズムの代替よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-08T20:18:18Z)
• ENVIDR: Implicit Differentiable Renderer with Neural Environment Lighting [9.145875902703345]
  ENVIDRは、高精細な反射を伴う表面の高精細なレンダリングと再構成のためのレンダリングとモデリングのためのフレームワークである。 まず、表面光と環境光の相互作用を学習するために、分解レンダリングを用いた新しいニューラルネットワークを提案する。 次に、この学習されたニューラルサーフェスを利用して一般的なシーンを表現するSDFベースのニューラルサーフェスモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-23T04:12:07Z)
• Aleth-NeRF: Low-light Condition View Synthesis with Concealing Fields [65.96818069005145]
  ビューアー中心のバニラNeRFは、表示方向の3D位置からの発光としてのみレンダリングプロセスを単純化する。 古代ギリシア人の排ガス理論に触発され、我々はバニラ・ネRFにわずかな修正を加え、低照度シーンの複数の視点で訓練した。 我々は、ボリュームレンダリングの段階で光の輸送を減らし、サロゲートの概念であるConcealing Fieldsを導入する。
  論文  参考訳（メタデータ） (2023-03-10T09:28:09Z)
• 3D Scene Creation and Rendering via Rough Meshes: A Lighting Transfer Avenue [49.62477229140788]
  本稿では,再構成された3Dモデルを3Dシーン作成やレンダリングなどの実用的な3Dモデリングパイプラインに柔軟に統合する方法について述べる。 我々はNFRとPBRを橋渡しする照明伝達ネットワーク(LighTNet)を提案する。
  論文  参考訳（メタデータ） (2022-11-27T13:31:00Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination [60.89737319987051]
  照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。 これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-03T16:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。