論文の概要: Learning Latent Proxies for Controllable Single-Image Relighting

• arxiv url: http://arxiv.org/abs/2603.15555v1
• Date: Mon, 16 Mar 2026 17:16:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.684924
• Title: Learning Latent Proxies for Controllable Single-Image Relighting
• Title（参考訳）: 制御可能な単一画像リライトのための遅延プロキシの学習
• Authors: Haoze Zheng, Zihao Wang, Xianfeng Wu, Yajing Bai, Yexin Liu, Yun Li, Xiaogang Xu, Harry Yang,
• Abstract要約: シングルイメージのリライトは非常に制約の少ない。 物理的プリエントを2つのレベルで統合するLightCtrlを導入する。 また、大規模なオブジェクトレベルのデータセットであるScaLightも紹介します。
• 参考スコア（独自算出の注目度）: 29.76860042350802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Single-image relighting is highly under-constrained: small illumination changes can produce large, nonlinear variations in shading, shadows, and specularities, while geometry and materials remain unobserved. Existing diffusion-based approaches either rely on intrinsic or G-buffer pipelines that require dense and fragile supervision, or operate purely in latent space without physical grounding, making fine-grained control of direction, intensity, and color unreliable. We observe that a full intrinsic decomposition is unnecessary and redundant for accurate relighting. Instead, sparse but physically meaningful cues, indicating where illumination should change and how materials should respond, are sufficient to guide a diffusion model. Based on this insight, we introduce LightCtrl that integrates physical priors at two levels: a few-shot latent proxy encoder that extracts compact material-geometry cues from limited PBR supervision, and a lighting-aware mask that identifies sensitive illumination regions and steers the denoiser toward shading relevant pixels. To compensate for scarce PBR data, we refine the proxy branch using a DPO-based objective that enforces physical consistency in the predicted cues. We also present ScaLight, a large-scale object-level dataset with systematically varied illumination and complete camera-light metadata, enabling physically consistent and controllable training. Across object and scene level benchmarks, our method achieves photometrically faithful relighting with accurate continuous control, surpassing prior diffusion and intrinsic-based baselines, including gains of up to +2.4 dB PSNR and 35% lower RMSE under controlled lighting shifts.
• Abstract（参考訳）: 小さな照明の変化は、大きな非線形なシェーディング、シャドウ、スペキュラリティを生じさせるが、幾何学や材料は観測されない。 既存の拡散に基づくアプローチは、密度と脆弱な監視を必要とする固有のパイプラインまたはGバッファパイプラインに依存しているか、または物理的接地なしで純粋に潜伏空間で運用し、方向、強度、色をきめ細かく制御できる。 完全内在的な分解が不要で、正確なリライトには冗長であることが観察された。 その代わりに、照明がどこで変化すべきか、材料がどのように反応するかを示す、まばらだが物理的に意味のある手がかりは、拡散モデルを導くのに十分である。 そこで本研究では,PBRの監督範囲を限定して,コンパクトな物質形状の手がかりを抽出する数発の潜伏プロキシエンコーダと,感度の高い照明領域を識別し,関連画素のシェーディングに向けてデノイザーを操る照明対応マスクの2つのレベルに,物理先行情報を統合したLightCtrlを紹介した。 PBRデータの不足を補うために、予測されたキューの物理的一貫性を強制するDPOベースの目的を用いてプロキシブランチを洗練する。 我々はまた、体系的に異なる照明と完全なカメラライトメタデータを備えた大規模オブジェクトレベルのデータセットであるScaLightを提示し、物理的に一貫性があり、制御可能なトレーニングを可能にした。 オブジェクトレベルとシーンレベルのベンチマークでは,光度に忠実な照準を高精度な連続的な制御で達成し,光シフトの制御下,最大2.4dBのPSNRと35%のRMSEの利得を含む,事前拡散と本質的なベースラインを超越した。

関連論文リスト

• Diffusion-Based Low-Light Image Enhancement with Color and Luminance Priors [13.688097246812042]
  低照度画像は、しばしば低コントラスト、ノイズ、色歪みに悩まされ、視覚的品質を低下させ、下流の視覚タスクを損なう。 SCEM(Structured Control Embedding Module)を組み込んだ低照度画像強調のための新しい条件拡散フレームワークを提案する。 SCEMは低照度画像を4つの情報成分に分解する。
  論文  参考訳（メタデータ） (2026-02-27T22:15:27Z)
• Unifying Color and Lightness Correction with View-Adaptive Curve Adjustment for Robust 3D Novel View Synthesis [73.27997579020233]
  多様な照明条件下での堅牢なNVSのための3DGSベースのフレームワークであるLuminance-GS++を提案する。 本手法は,グローバルな視野適応光度調整と局所画素ワイド残差補正を組み合わせ,正確な色補正を行う。
  論文  参考訳（メタデータ） (2026-02-20T16:20:50Z)
• POLAR: A Portrait OLAT Dataset and Generative Framework for Illumination-Aware Face Modeling [51.7495375918484]
  顔のリライティングは、アイデンティティと幾何学を保ちながら、新しい照明の下でリアルな肖像画を合成することを目的としている。 大規模かつ物理的に校正されたOne-Light-at-a-TimeデータセットであるPOLARを紹介した。 フローベース生成モデル POLARNet を開発した。これは1つのポートレートから光ごとのOLAT応答を予測し、顔認証を保ちながら細粒度で方向対応の照明効果を捉える。
  論文  参考訳（メタデータ） (2025-12-15T11:04:09Z)
• LightLab: Controlling Light Sources in Images with Diffusion Models [49.83835236202516]
  画像中の光源を微細かつパラメトリックに制御する拡散法を提案する。 我々は、光の線形性を利用して、ターゲット光源または周囲照明の制御された光の変化を描写した画像対を合成する。 提案手法は, ユーザの好みに基づいて, 従来の方法よりも優れた光編集結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-05-14T17:57:27Z)
• DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
  拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。 我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。 このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
  論文  参考訳（メタデータ） (2024-10-10T17:56:44Z)
• Unsupervised Low-light Image Enhancement with Lookup Tables and Diffusion Priors [38.96909959677438]
  低照度画像強調(LIE)は、低照度環境において劣化した画像を高精度かつ効率的に回収することを目的としている。 近年の先進的なLIE技術は、多くの低正規の光画像対、ネットワークパラメータ、計算資源を必要とするディープニューラルネットワークを使用している。 拡散先行とルックアップテーブルに基づく新しい非教師付きLIEフレームワークを考案し,低照度画像の効率的な回復を実現する。
  論文  参考訳（メタデータ） (2024-09-27T16:37:27Z)
• GS-ID: Illumination Decomposition on Gaussian Splatting via Adaptive Light Aggregation and Diffusion-Guided Material Priors [5.7153963416911]
  ガウススプラッティング(GS)はレンダリングの効果的な表現として登場したが、基礎となる幾何学、材料、照明はいまだに絡み合っている。 照明分解のためのエンドツーエンドフレームワークである textbfGS-ID を提案する。 照明やシーン構成などの下流アプリケーションにおけるGS-IDの有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2024-08-16T04:38:31Z)
• Improving Lens Flare Removal with General Purpose Pipeline and Multiple Light Sources Recovery [69.71080926778413]
  フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。 現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。 本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
  論文  参考訳（メタデータ） (2023-08-31T04:58:17Z)
• NeIF: Representing General Reflectance as Neural Intrinsics Fields for Uncalibrated Photometric Stereo [70.71400320657035]
  非平衡測光ステレオ(UPS)は、未知の光によってもたらされる固有の曖昧さのために困難である。 本稿では,光の手がかりと光推定との暗黙の関係を確立し,教師なしの方法でUPSを解く。
  論文  参考訳（メタデータ） (2022-08-18T15:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。