論文の概要: Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling

• arxiv url: http://arxiv.org/abs/2405.14847v1
• Date: Thu, 23 May 2024 17:56:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 13:27:25.696132
• Title: Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling
• Title（参考訳）: 視覚依存提示モデルにおける高効率かつ高精度な指向性符号化
• Authors: Liwen Wu, Sai Bi, Zexiang Xu, Fujun Luan, Kai Zhang, Iliyan Georgiev, Kalyan Sunkavalli, Ravi Ramamoorthi,
• Abstract要約: NDEは特徴グリッドに基づく空間符号化の概念を角領域に転送する。 合成データと実データの両方の実験により、NDEを用いたNeRFモデルは、スペクトルオブジェクトのビュー合成において、技術の状態よりも優れていたことが示されている。
• 参考スコア（独自算出の注目度）: 47.86734601629109
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Novel-view synthesis of specular objects like shiny metals or glossy paints remains a significant challenge. Not only the glossy appearance but also global illumination effects, including reflections of other objects in the environment, are critical components to faithfully reproduce a scene. In this paper, we present Neural Directional Encoding (NDE), a view-dependent appearance encoding of neural radiance fields (NeRF) for rendering specular objects. NDE transfers the concept of feature-grid-based spatial encoding to the angular domain, significantly improving the ability to model high-frequency angular signals. In contrast to previous methods that use encoding functions with only angular input, we additionally cone-trace spatial features to obtain a spatially varying directional encoding, which addresses the challenging interreflection effects. Extensive experiments on both synthetic and real datasets show that a NeRF model with NDE (1) outperforms the state of the art on view synthesis of specular objects, and (2) works with small networks to allow fast (real-time) inference. The project webpage and source code are available at: \url{https://lwwu2.github.io/nde/}.
• Abstract（参考訳）: 光沢のある金属や光沢のある塗料のような特異な物体の新規な合成は重要な課題である。 光沢のある外観だけでなく、環境中の他の物体の反射を含む地球規模の照明効果も、シーンを忠実に再現するための重要な要素である。 本稿では,ニューラル指向符号化(Neural Directional Encoding, NDE)を提案する。 NDEは特徴グリッドに基づく空間符号化の概念を角領域に転送し、高周波角信号のモデル化能力を大幅に向上させる。 角入力のみの符号化関数を使用する従来の手法とは対照的に,空間的に異なる方向の符号化を実現するために,コーントラス空間的特徴を付加して,難解な相互反射効果に対処する。 合成データと実データの両方に対する大規模な実験により、NDE (1) を用いた NeRF モデルは、スペクトルオブジェクトのビュー合成における現状よりも優れており、(2) 高速(リアルタイム)な推論を可能にするために、小さなネットワークで動作することが示された。 プロジェクトのWebページとソースコードは以下の通りである。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• Inverse Rendering of Glossy Objects via the Neural Plenoptic Function and Radiance Fields [45.64333510966844]
  逆レンダリングは、オブジェクトの幾何学と材料の両方を復元することを目的としている。 我々は、NeRFとレイトレーシングに基づく新しい5次元ニューラルプレノプティクス関数(NeP)を提案する。 本手法は, 近くの物体からの複雑な光の相互作用により, 難解な光沢のある物体の高忠実な形状・材料を再構成することができる。
  論文  参考訳（メタデータ） (2024-03-24T16:34:47Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Anisotropic Neural Representation Learning for High-Quality Neural Rendering [0.0]
  本稿では、学習可能なビュー依存機能を利用してシーン表現と再構成を改善する異方性ニューラル表現学習法を提案する。 我々の手法は柔軟であり、NeRFベースのフレームワークにプラグインできる。
  論文  参考訳（メタデータ） (2023-11-30T07:29:30Z)
• NeAI: A Pre-convoluted Representation for Plug-and-Play Neural Ambient Illumination [28.433403714053103]
  ニューラル環境照明(NeAI)という枠組みを提案する。 NeAIは、物理的な方法で複雑な照明を扱うための照明モデルとしてNeRF(Neural Radiance Fields)を使用している。 実験は、以前の作品と比較して、ノベルビューレンダリングの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-04-18T06:32:30Z)
• Is Attention All NeRF Needs? [103.51023982774599]
  Generalizable NeRF Transformer (GNT) は、ソースビューから高速にNeRF(Neural Radiance Fields)を効率的に再構築する、純粋で統一されたトランスフォーマーベースのアーキテクチャである。 GNTは、2つのトランスフォーマーベースのステージをカプセル化することにより、一般化可能なニューラルシーン表現とレンダリングを実現する。
  論文  参考訳（メタデータ） (2022-07-27T05:09:54Z)
• Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection [84.52197307286681]
  暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。 自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。 我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-05-06T16:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。