論文の概要: SAIL: Self-supervised Albedo Estimation from Real Images with a Latent Diffusion Model
- arxiv url: http://arxiv.org/abs/2505.19751v2
- Date: Tue, 27 May 2025 09:27:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 14:37:20.252404
- Title: SAIL: Self-supervised Albedo Estimation from Real Images with a Latent Diffusion Model
- Title（参考訳）: SAIL:潜在拡散モデルを用いた実画像からの自己教師型アルベド推定
- Authors: Hala Djeghim, Nathan Piasco, Luis Roldão, Moussab Bennehar, Dzmitry Tsishkou, Céline Loscos, Désiré Sidibé,
- Abstract要約: 内在的な画像分解は、イメージを根底にあるアルベドとシェーディングコンポーネントに分離することを目的としている。
本研究では,一視点実世界の画像からアルベド様の表現を推定する手法であるSAILを提案する。
- 参考スコア（独自算出の注目度）: 4.015354837450373
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Intrinsic image decomposition aims at separating an image into its underlying albedo and shading components, isolating the base color from lighting effects to enable downstream applications such as virtual relighting and scene editing. Despite the rise and success of learning-based approaches, intrinsic image decomposition from real-world images remains a significant challenging task due to the scarcity of labeled ground-truth data. Most existing solutions rely on synthetic data as supervised setups, limiting their ability to generalize to real-world scenes. Self-supervised methods, on the other hand, often produce albedo maps that contain reflections and lack consistency under different lighting conditions. To address this, we propose SAIL, an approach designed to estimate albedo-like representations from single-view real-world images. We repurpose the prior knowledge of a latent diffusion model for unconditioned scene relighting as a surrogate objective for albedo estimation. To extract the albedo, we introduce a novel intrinsic image decomposition fully formulated in the latent space. To guide the training of our latent diffusion model, we introduce regularization terms that constrain both the lighting-dependent and independent components of our latent image decomposition. SAIL predicts stable albedo under varying lighting conditions and generalizes to multiple scenes, using only unlabeled multi-illumination data available online.
- Abstract（参考訳）: Intrinsic Image decompositionは、イメージを基盤となるアルベドとシェーディングコンポーネントに分離することを目的としており、ベースカラーを照明効果から分離し、仮想リライトやシーン編集などの下流アプリケーションを可能にする。
学習に基づくアプローチの興隆と成功にもかかわらず、実世界の画像からの本質的な画像分解は、ラベル付き地平データの不足のため、依然として重要な課題である。
既存のソリューションの多くは、教師付きセットアップとして合成データに依存しており、現実世界のシーンに一般化する能力を制限している。
一方、自己監督法はしばしば反射を含むアルベドマップを生成し、異なる照明条件下での一貫性を欠いている。
そこで本研究では,単一視点の実世界の画像からアルベド様の表現を推定する手法であるSAILを提案する。
我々は,アルベド推定の補助的目的として,無条件のシーンリライティングのための潜伏拡散モデルの事前知識を再利用した。
このアルベドを抽出するために、潜伏空間で完全に定式化された新しい内在的画像分解を導入する。
遅延拡散モデルのトレーニングの指針として、遅延画像分解の照明依存成分と独立成分の両方を制約する正規化項を導入する。
SAILは、様々な照明条件下で安定なアルベドを予測し、オンラインで利用可能なラベルのない多重照明データのみを使用して複数のシーンに一般化する。
関連論文リスト
- Colorful Diffuse Intrinsic Image Decomposition in the Wild [0.0]
固有の画像分解は、1枚の写真から反射率と効果を分離することを目的としている。
本研究では,入力画像から拡散アルベド,カラフルな拡散シェーディング,特異残留成分を分離する。
拡張された内在モデルにより、写真の照度を意識した分析が可能となり、画像編集に利用することができる。
論文 参考訳（メタデータ） (2024-09-20T17:59:40Z) - A General Albedo Recovery Approach for Aerial Photogrammetric Images through Inverse Rendering [7.874736360019618]
本稿では,自然光照射下での典型的な航空写真からのアルベド回収のための一般的な画像形成モデルを提案する。
我々のアプローチは、太陽の照明と風景の幾何学の両方が空中光度計で推定可能であるという事実に基づいている。
論文 参考訳（メタデータ） (2024-09-04T18:58:32Z) - Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering [56.68286440268329]
現実世界のシーンの画像に仮想オブジェクトを正しく挿入するには、シーンの照明、幾何学、材料を深く理解する必要がある。
本稿では,物理ベースの逆レンダリングプロセスへのガイダンスとして,パーソナライズされた大規模拡散モデルを提案する。
本手法は,シーンライティングとトーンマッピングのパラメータを復元し,任意の仮想オブジェクトの光リアルな構成を室内や屋外のシーンの単一フレームやビデオで再現する。
論文 参考訳（メタデータ） (2024-08-19T05:15:45Z) - LightenDiffusion: Unsupervised Low-Light Image Enhancement with Latent-Retinex Diffusion Models [39.28266945709169]
物理的に説明可能なRetinex理論を低照度画像強調のための拡散モデルに組み込んだ拡散に基づく教師なしフレームワークを提案する。
公開されている実世界のベンチマークの実験では、提案されたLightenDiffusionは最先端の非監督的な競合より優れていることが示されている。
論文 参考訳（メタデータ） (2024-07-12T02:54:43Z) - Intrinsic Image Diffusion for Indoor Single-view Material Estimation [55.276815106443976]
室内シーンの外観分解のための生成モデルIntrinsic Image Diffusionを提案する。
1つの入力ビューから、アルベド、粗さ、および金属地図として表される複数の材料説明をサンプリングする。
提案手法は,PSNRで1.5dB$,アルベド予測で45%のFIDスコアを達成し,よりシャープで,より一貫性があり,より詳細な資料を生成する。
論文 参考訳（メタデータ） (2023-12-19T15:56:19Z) - Diffusion Posterior Illumination for Ambiguity-aware Inverse Rendering [63.24476194987721]
画像からシーン特性を推定する逆レンダリングは、困難な逆問題である。
既存のソリューションの多くは、プリエントを逆レンダリングパイプラインに組み込んで、プラウシブルなソリューションを奨励している。
本稿では,自然照明マップ上で事前学習した確率拡散モデルを最適化フレームワークに統合する手法を提案する。
論文 参考訳（メタデータ） (2023-09-30T12:39:28Z) - A Novel Intrinsic Image Decomposition Method to Recover Albedo for
Aerial Images in Photogrammetry Processing [3.556015072520384]
フォトグラム画像による表面アルベドは、VR/AR/MRおよびデジタルツインにおける下流の応用を促進することができる。
これらのテクスチャは直接画像から導出されるので、標準フォトグラムのパイプラインはこれらの応用に最適である。
自然照明条件下での屋外空間画像に対する画像形成モデルを提案する。
次に、逆モデルを導出し、典型的なフォトグラム積を幾何学の初期近似として利用してアルベドを推定する。
論文 参考訳（メタデータ） (2022-04-08T15:50:52Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳（メタデータ） (2021-10-30T01:59:39Z) - Single-image Full-body Human Relighting [42.06323641073984]
そこで本研究では,フルボディの人間で画像を自動的にリライトする単一画像データ駆動方式を提案する。
本フレームワークは,PRT(Precomputed Radiance Transfer)とSH(Spherical Harmonics)の照明を利用した現実的なシーン分解に基づいている。
本稿では,L1,対数,レンダリング損失の組み合わせを用いて学習したPRTの分解に合わせた新しいディープラーニングアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-07-15T11:34:03Z) - De-rendering the World's Revolutionary Artefacts [65.60220069214591]
実際の単一画像コレクションから、環境照明や表面材料を回収する手法を提案します。
回転対称なアーティファクトに焦点をあて,血管などの反射を含む表面特性に挑戦する。
世界の革命的成果物をデレンダリングできるエンドツーエンドの学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-08T17:56:16Z) - Non-Homogeneous Haze Removal via Artificial Scene Prior and
Bidimensional Graph Reasoning [52.07698484363237]
本研究では,人工シーンの前置と2次元グラフ推論による不均質なヘイズ除去ネットワーク(nhrn)を提案する。
本手法は,単一画像デハジングタスクとハイザイ画像理解タスクの両方において,最先端アルゴリズムよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2021-04-05T13:04:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。