論文の概要: Materialist: Physically Based Editing Using Single-Image Inverse Rendering

• arxiv url: http://arxiv.org/abs/2501.03717v1
• Date: Tue, 07 Jan 2025 11:52:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:50:10.461811
• Title: Materialist: Physically Based Editing Using Single-Image Inverse Rendering
• Title（参考訳）: マテリアルスト:シングルイメージ逆レンダリングを用いた物理ベースの編集
• Authors: Lezhong Wang, Duc Minh Tran, Ruiqi Cui, Thomson TG, Manmohan Chandraker, Jeppe Revall Frisvad,
• Abstract要約: 本稿では、学習に基づくアプローチとプログレッシブな微分可能レンダリングを組み合わせた手法を提案する。 提案手法は,より現実的な光物質相互作用,正確な影,大域的な照明を実現する。 また,全シーン形状を必要とせず,効果的に機能する材料透過性編集手法を提案する。
• 参考スコア（独自算出の注目度）: 50.39048790589746
• License:
• Abstract: To perform image editing based on single-view, inverse physically based rendering, we present a method combining a learning-based approach with progressive differentiable rendering. Given an image, our method leverages neural networks to predict initial material properties. Progressive differentiable rendering is then used to optimize the environment map and refine the material properties with the goal of closely matching the rendered result to the input image. We require only a single image while other inverse rendering methods based on the rendering equation require multiple views. In comparison to single-view methods that rely on neural renderers, our approach achieves more realistic light material interactions, accurate shadows, and global illumination. Furthermore, with optimized material properties and illumination, our method enables a variety of tasks, including physically based material editing, object insertion, and relighting. We also propose a method for material transparency editing that operates effectively without requiring full scene geometry. Compared with methods based on Stable Diffusion, our approach offers stronger interpretability and more realistic light refraction based on empirical results.
• Abstract（参考訳）: 単ビュー,逆物理ベースレンダリングに基づく画像編集を行うために,学習に基づくアプローチとプログレッシブな微分可能レンダリングを組み合わせた手法を提案する。 画像が与えられた場合、ニューラルネットワークを利用して初期材料特性を予測する。 次に、プログレッシブな微分可能レンダリングを用いて環境マップを最適化し、描画結果と入力画像との密なマッチングを目標として材料特性を洗練する。 我々は1つの画像しか必要としないが、レンダリング方程式に基づく他の逆レンダリング手法は複数のビューを必要とする。 ニューラルレンダラーに依存する単一ビュー法と比較して、我々の手法はより現実的な光物質相互作用、正確な影、大域的な照明を実現する。 さらに, 物質特性の最適化と照明により, 物理的にベースとした材料編集, オブジェクト挿入, 照明など, 様々な作業が可能となる。 また,全シーン形状を必要とせず,効果的に機能する材料透過性編集手法を提案する。 安定拡散に基づく手法と比較して,本手法はより強い解釈可能性と,経験的結果に基づくより現実的な光屈折を提供する。

関連論文リスト

• MIRReS: Multi-bounce Inverse Rendering using Reservoir Sampling [17.435649250309904]
  本稿では,新しい2段階逆レンダリングフレームワークであるMIRReSを紹介する。 提案手法は, ステージ1で明示的な幾何(三角形メッシュ)を抽出し, より現実的な物理ベースの逆レンダリングモデルを導入する。 本手法は,自己陰影や内部反射を含む間接照明を効果的に推定する。
  論文  参考訳（メタデータ） (2024-06-24T07:00:57Z)
• IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination [37.96484120807323]
  本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。 我々は、最適化プロセスの正規化のための生成モデルを用いて、その材料を事前に学習する。 実世界および合成データセットを用いた実験により,本手法が材料回収における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-17T17:45:08Z)
• Diffusion Posterior Illumination for Ambiguity-aware Inverse Rendering [63.24476194987721]
  画像からシーン特性を推定する逆レンダリングは、困難な逆問題である。 既存のソリューションの多くは、プリエントを逆レンダリングパイプラインに組み込んで、プラウシブルなソリューションを奨励している。 本稿では,自然照明マップ上で事前学習した確率拡散モデルを最適化フレームワークに統合する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T12:39:28Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• NDJIR: Neural Direct and Joint Inverse Rendering for Geometry, Lights, and Materials of Real Object [5.665283675533071]
  我々はニューラルダイレクトおよびジョイントリバースレンダリング(NDJIR)を提案する。 提案手法は, 実際のオブジェクトに対して, フォトグラム設定で意味論的に分解することができる。
  論文  参考訳（メタデータ） (2023-02-02T13:21:03Z)
• Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
  本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。 副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
  論文  参考訳（メタデータ） (2022-12-09T07:33:49Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
  微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。 微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。 定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
  論文  参考訳（メタデータ） (2021-04-01T09:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。