論文の概要: Learning Relighting and Intrinsic Decomposition in Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2406.11077v1
• Date: Sun, 16 Jun 2024 21:10:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 19:03:42.142611
• Title: Learning Relighting and Intrinsic Decomposition in Neural Radiance Fields
• Title（参考訳）: ニューラルラジアンス分野におけるリライティングと本質的分解の学習
• Authors: Yixiong Yang, Shilin Hu, Haoyu Wu, Ramon Baldrich, Dimitris Samaras, Maria Vanrell,
• Abstract要約: 本研究は,リライティングと本質的な分解を併用する手法を提案する。 シーン内の光の変動を利用して擬似ラベルを生成することにより、本手法は本質的な分解のガイダンスを提供する。 提案手法は,実世界の合成データセットと実世界のデータセットの両方で検証し,有望な結果を得た。
• 参考スコア（独自算出の注目度）: 21.057216351934688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task of extracting intrinsic components, such as reflectance and shading, from neural radiance fields is of growing interest. However, current methods largely focus on synthetic scenes and isolated objects, overlooking the complexities of real scenes with backgrounds. To address this gap, our research introduces a method that combines relighting with intrinsic decomposition. By leveraging light variations in scenes to generate pseudo labels, our method provides guidance for intrinsic decomposition without requiring ground truth data. Our method, grounded in physical constraints, ensures robustness across diverse scene types and reduces the reliance on pre-trained models or hand-crafted priors. We validate our method on both synthetic and real-world datasets, achieving convincing results. Furthermore, the applicability of our method to image editing tasks demonstrates promising outcomes.
• Abstract（参考訳）: 反射や陰影などの固有成分を神経放射場から抽出する作業は、関心が高まりつつある。 しかし、現在の手法は主に合成シーンと孤立した物体に焦点を合わせ、背景を持つ現実のシーンの複雑さを見下ろしている。 このギャップに対処するため,本研究では,リライティングと本質的な分解を組み合わせた手法を提案する。 シーン内の光の変動を利用して擬似ラベルを生成することにより,本手法は真理データを必要としない本質的な分解のガイダンスを提供する。 本手法は, 物理的制約を前提として, 多様なシーンタイプにまたがるロバスト性を確保し, 事前学習モデルや手作り先行モデルへの依存を低減させる。 提案手法は,実世界の合成データセットと実世界のデータセットの両方で検証し,有望な結果を得た。 さらに,画像編集タスクへの本手法の適用性は,有望な結果を示す。

関連論文リスト

• MLI-NeRF: Multi-Light Intrinsic-Aware Neural Radiance Fields [21.057216351934688]
  反射率やシェーディングなどの固有画像成分を抽出する現在の手法は、統計的先行性に依存している。 我々はtextbfIntrinsic-aware textbfNeural textbfRadiance textbfFields に textbfMultiple textbfLight 情報を統合する MLI-NeRF を提案する。
  論文  参考訳（メタデータ） (2024-11-26T08:57:38Z)
• Relighting from a Single Image: Datasets and Deep Intrinsic-based Architecture [0.7499722271664147]
  単一画像シーンのリライティングは、入力画像の現実的な新しいバージョンを生成し、新たな目標光条件で照らされるようにすることを目的としている。 そこで本研究では,内在成分の基底的真理を持つ合成データセットと,実験条件下で収集した実データセットの2つの新しいデータセットを提案する。 提案手法は,既存のデータセットと新たに開発したデータセットの両方でテストした結果,最先端の手法よりも性能が優れている。
  論文  参考訳（メタデータ） (2024-09-27T14:15:02Z)
• Perceptual Artifacts Localization for Image Synthesis Tasks [59.638307505334076]
  我々は10,168個の画像からなる新しいデータセットを導入し,それぞれに知覚的アーティファクトラベルを付加した。 提案したデータセットに基づいてトレーニングされたセグメンテーションモデルは、さまざまなタスクにまたがるアーティファクトを効果的にローカライズする。 生成した画像の知覚的アーティファクトをシームレスに修正する,革新的なズームイン・インペインティングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-10-09T10:22:08Z)
• Diffusion-based Holistic Texture Rectification and Synthesis [26.144666226217062]
  伝統的なテクスチャ合成アプローチは、原始サンプルからテクスチャを生成することに重点を置いている。 自然画像中の劣化サンプルから全体的テクスチャを合成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-26T08:44:46Z)
• Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient [73.52585139592398]
  本稿では,ボリュームレンダリングによる放射移動場学習のための新しいフレームワークを提案する。 我々は、我々のコードと、地下散乱効果を持つ新しい光ステージのオブジェクトデータセットを公開します。
  論文  参考訳（メタデータ） (2023-06-15T17:56:04Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• IntrinsicNeRF: Learning Intrinsic Neural Radiance Fields for Editable Novel View Synthesis [90.03590032170169]
  内在性ニューラルレンダリング法に内在性分解を導入した内在性ニューラルレイディアンス場(IntrinsicNeRF)を提案する。 そこで,本研究では,オブジェクト固有・ルームスケールシーンと合成・実単語データの両方を用いて,一貫した本質的な分解結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-02T22:45:11Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。