論文の概要: Materialist: Physically Based Editing Using Single-Image Inverse Rendering

• arxiv url: http://arxiv.org/abs/2501.03717v2
• Date: Thu, 26 Jun 2025 16:22:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 15:38:00.117922
• Title: Materialist: Physically Based Editing Using Single-Image Inverse Rendering
• Title（参考訳）: マテリアルスト:シングルイメージ逆レンダリングを用いた物理ベースの編集
• Authors: Lezhong Wang, Duc Minh Tran, Ruiqi Cui, Thomson TG, Anders Bjorholm Dahl, Siavash Arjomand Bigdeli, Jeppe Revall Frisvad, Manmohan Chandraker,
• Abstract要約: マテリアルスト(Materist)は、学習に基づくアプローチと物理的にベースとしたプログレッシブ・差別化可能なレンダリングを組み合わせる方法である。 我々のアプローチは、マテリアル編集、オブジェクト挿入、リライトなど、幅広いアプリケーションを可能にする。 実験は、合成および実世界のデータセット間で強力なパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 47.85234717907478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving physically consistent image editing remains a significant challenge in computer vision. Existing image editing methods typically rely on neural networks, which struggle to accurately handle shadows and refractions. Conversely, physics-based inverse rendering often requires multi-view optimization, limiting its practicality in single-image scenarios. In this paper, we propose Materialist, a method combining a learning-based approach with physically based progressive differentiable rendering. Given an image, our method leverages neural networks to predict initial material properties. Progressive differentiable rendering is then used to optimize the environment map and refine the material properties with the goal of closely matching the rendered result to the input image. Our approach enables a range of applications, including material editing, object insertion, and relighting, while also introducing an effective method for editing material transparency without requiring full scene geometry. Furthermore, Our envmap estimation method also achieves state-of-the-art performance, further enhancing the accuracy of image editing task. Experiments demonstrate strong performance across synthetic and real-world datasets, excelling even on challenging out-of-domain images. Project website: https://lez-s.github.io/materialist_project/
• Abstract（参考訳）: 物理的に一貫した画像編集を実現することは、コンピュータビジョンにおいて重要な課題である。 既存の画像編集法は通常、影や屈折を正確に扱えないニューラルネットワークに依存している。 逆に、物理ベースの逆レンダリングは、しばしばマルチビューの最適化を必要とし、その実用性はシングルイメージのシナリオで制限される。 本稿では,学習に基づくアプローチと物理ベースでプログレッシブな微分可能レンダリングを組み合わせたMaterialistを提案する。 画像が与えられた場合、ニューラルネットワークを利用して初期材料特性を予測する。 次に、プログレッシブな微分可能レンダリングを用いて環境マップを最適化し、描画結果と入力画像との密なマッチングを目標として材料特性を洗練する。 提案手法は, 素材編集, オブジェクト挿入, リライティングなどの幅広いアプリケーションを実現するとともに, フルシーン幾何学を必要とせず, 材料透明性を編集する効果的な方法も導入する。 さらに,本手法は,画像編集作業の精度を向上し,最先端の性能も向上する。 実験では、合成データセットと実世界のデータセット間で強力なパフォーマンスを示し、ドメイン外画像の挑戦にも優れています。 プロジェクトウェブサイト: https://lez-s.github.io/ Materialist_project/

関連論文リスト

• Generative Image Layer Decomposition with Visual Effects [49.75021036203426]
  LayerDecompは、イメージ層分解のための生成フレームワークである。 清潔な背景と、忠実に保存された視覚効果を持つ高品質な透明な前景を作り出す。 本手法は,オブジェクト除去や空間編集作業において,既存の手法よりも優れた分解特性を実現する。
  論文  参考訳（メタデータ） (2024-11-26T20:26:49Z)
• MIRReS: Multi-bounce Inverse Rendering using Reservoir Sampling [17.435649250309904]
  本稿では,新しい2段階逆レンダリングフレームワークであるMIRReSを紹介する。 提案手法は, ステージ1で明示的な幾何(三角形メッシュ)を抽出し, より現実的な物理ベースの逆レンダリングモデルを導入する。 本手法は,自己陰影や内部反射を含む間接照明を効果的に推定する。
  論文  参考訳（メタデータ） (2024-06-24T07:00:57Z)
• IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination [37.96484120807323]
  本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。 我々は、最適化プロセスの正規化のための生成モデルを用いて、その材料を事前に学習する。 実世界および合成データセットを用いた実験により,本手法が材料回収における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-17T17:45:08Z)
• Diffusion Posterior Illumination for Ambiguity-aware Inverse Rendering [63.24476194987721]
  画像からシーン特性を推定する逆レンダリングは、困難な逆問題である。 既存のソリューションの多くは、プリエントを逆レンダリングパイプラインに組み込んで、プラウシブルなソリューションを奨励している。 本稿では,自然照明マップ上で事前学習した確率拡散モデルを最適化フレームワークに統合する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T12:39:28Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• NDJIR: Neural Direct and Joint Inverse Rendering for Geometry, Lights, and Materials of Real Object [5.665283675533071]
  我々はニューラルダイレクトおよびジョイントリバースレンダリング(NDJIR)を提案する。 提案手法は, 実際のオブジェクトに対して, フォトグラム設定で意味論的に分解することができる。
  論文  参考訳（メタデータ） (2023-02-02T13:21:03Z)
• Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
  本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。 副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
  論文  参考訳（メタデータ） (2022-12-09T07:33:49Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
  微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。 微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。 定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
  論文  参考訳（メタデータ） (2021-04-01T09:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。