論文の概要: Neural Point Catacaustics for Novel-View Synthesis of Reflections

• arxiv url: http://arxiv.org/abs/2301.01087v1
• Date: Tue, 3 Jan 2023 13:28:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-04 15:06:09.562052
• Title: Neural Point Catacaustics for Novel-View Synthesis of Reflections
• Title（参考訳）: 反射の新しい視点合成のためのニューラルポイント触媒
• Authors: Georgios Kopanas, Thomas Leimk\"uhler, Gilles Rainer, Cl\'ement Jambon, George Drettakis
• Abstract要約: 曲面反射板を用いたシーンの新規なビュー合成を可能にするニューラルポイント音響計算のための新しいポイントベース表現を提案する。 ソースコードやその他の補足資料をhttps://repo-sam.inria.fr/ fungraph/neural_catacaustics/で提供します。
• 参考スコア（独自算出の注目度）: 3.5348690973777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: View-dependent effects such as reflections pose a substantial challenge for image-based and neural rendering algorithms. Above all, curved reflectors are particularly hard, as they lead to highly non-linear reflection flows as the camera moves. We introduce a new point-based representation to compute Neural Point Catacaustics allowing novel-view synthesis of scenes with curved reflectors, from a set of casually-captured input photos. At the core of our method is a neural warp field that models catacaustic trajectories of reflections, so complex specular effects can be rendered using efficient point splatting in conjunction with a neural renderer. One of our key contributions is the explicit representation of reflections with a reflection point cloud which is displaced by the neural warp field, and a primary point cloud which is optimized to represent the rest of the scene. After a short manual annotation step, our approach allows interactive high-quality renderings of novel views with accurate reflection flow. Additionally, the explicit representation of reflection flow supports several forms of scene manipulation in captured scenes, such as reflection editing, cloning of specular objects, reflection tracking across views, and comfortable stereo viewing. We provide the source code and other supplemental material on https://repo-sam.inria.fr/ fungraph/neural_catacaustics/
• Abstract（参考訳）: リフレクションのようなビュー依存効果は、画像ベースおよびニューラルレンダリングアルゴリズムに重大な課題をもたらす。 何よりも、曲がった反射板は特に硬く、カメラが動くと高度に非線形な反射が流れる。 そこで本研究では,カーソル反射板を用いたシーンの新規な視点合成を可能にするニューラルポイント触媒計算のための新しいポイントベース表現法を提案する。 提案手法のコアとなるのは,反射の触媒軌道をモデル化する神経ワープ場である。 私たちの重要な貢献の1つは、神経ワープフィールドによって置き換えられた反射点クラウドと、シーンの残りの部分を表現するために最適化された一次点クラウドによる反射の明示的な表現です。 簡単な手動アノテーションのステップの後、我々の手法は正確な反射流を伴う新しいビューのインタラクティブな高品質なレンダリングを可能にする。 さらに、リフレクションフローの明示的な表現は、リフレクション編集、スペクショナルオブジェクトのクローニング、ビュー間のリフレクショントラッキング、快適なステレオビューなど、キャプチャされたシーンにおけるシーン操作のいくつかの形態をサポートする。 我々は、https://repo-sam.inria.fr/ fungraph/neural_catacaustics/のソースコードと補足資料を提供します。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• TraM-NeRF: Tracing Mirror and Near-Perfect Specular Reflections through Neural Radiance Fields [3.061835990893184]
  NeRF(Neural Radiance Fields)のような暗黙の表現は、複雑なシーンを細かな詳細でレンダリングするための印象的な結果を示した。 本研究では,NeRF内部のボリュームレンダリングに適した新しいリフレクショントレーシング手法を提案する。 少数の試料から,光線による重要サンプリングと透過率計算の効率的な手法を導出した。
  論文  参考訳（メタデータ） (2023-10-16T17:59:56Z)
• WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
  本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-24T17:59:56Z)
• NeRFReN: Neural Radiance Fields with Reflections [16.28256369376256]
  我々は、NeRF上に構築されたNeRFReNを導入し、リフレクションのあるシーンをモデル化する。 本稿では,シーンを伝送・反射するコンポーネントに分割し,2つのコンポーネントを別個の神経放射場でモデル化することを提案する。 様々な自撮りシーンの実験により,本手法は高品質な新規ビュー合成と物理音響深度推定を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-11-30T09:36:00Z)
• Free-viewpoint Indoor Neural Relighting from Multi-view Stereo [5.306819482496464]
  本稿では,対話型自由視点ナビゲーションが可能な屋内シーンを撮影するためのニューラルリライティングアルゴリズムを提案する。 本手法では, 鋳造影や複雑な光沢物質を連続的にレンダリングしながら, 照明を合成的に変化させることができる。
  論文  参考訳（メタデータ） (2021-06-24T20:09:40Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)
• Deep Reflectance Volumes: Relightable Reconstructions from Multi-View Photometric Images [59.53382863519189]
  位置決めされた点灯下で撮影された非構造画像からシーンの外観を再構築する深層学習手法を提案する。 ディープ・リフレクタンス・ボリュームの中心部には、不透明度、表面正規度、リフレクタンス・ボクセル・グリッドからなる新しいボリューム・シーンの表現がある。 学習したリフレクタンスボリュームは編集可能であり、キャプチャされたシーンの素材を修正可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T05:38:11Z)
• Single image reflection removal via learning with multi-image constraints [50.54095311597466]
  本稿では、上記のアプローチの利点を組み合わせ、その欠点を克服する新しい学習ベースソリューションを提案する。 提案アルゴリズムはディープニューラルネットワークを学習して、複数の入力画像間で強化されたジョイント制約でターゲットを最適化する。 我々のアルゴリズムは実画像上でリアルタイムかつ最先端の反射除去性能で動作する。
  論文  参考訳（メタデータ） (2019-12-08T06:10:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。