論文の概要: Do Image Editing Models Understand Lighting?
- arxiv url: http://arxiv.org/abs/2606.26738v1
- Date: Thu, 25 Jun 2026 08:20:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.214249
- Title: Do Image Editing Models Understand Lighting?
- Title（参考訳）: 画像編集モデルは照明に耐えられるか?
- Abstract要約: 我々は、3Dアンコールライトプローブ(3DLP)ベンチマークを導入し、現実世界の照明変化の高忠実度HDRデータセットを新たに取得した。
データセットは、光プローブを物理的にオン/オフする、多様な屋内風景の1Kイメージ対で構成されている。
我々は,光プローブの編集精度と現実性との整合性を評価することによって,最先端の画像編集モデルの評価を行った。
- 参考スコア（独自算出の注目度）: 52.657799986035464
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While recent advancements in generative image editing models have achieved stunning visual fidelity, it remains an open question whether these systems possess an intrinsic knowledge of real-world lighting. Existing benchmarks typically evaluate high-level plausibility of perceptual light transport on curated internet imagery, using VLMs or human judgement, or they rely on synthetically generated datasets. In this work, we introduce the 3D-anchored Light Probe (3DLP) benchmark, for which we have captured a new high-fidelity HDR dataset of real-world lighting changes. The dataset consists of 1K image pairs of diverse indoor scenery in which light probes are physically turned on and off. To allow for a granular performance analysis, we annotated specific image regions such as cast shadows or metallic surfaces. With this data, we evaluate a range of state-of-the-art image editing models by measuring how well their light probe edits align with reality. The evaluation uses two new scores to compensate for AI-generated photographic effects, such as adjusted white balance. Our results show that the overall performance of models differs considerably, with differences slightly less pronounced for specular highlights. The best image editing models are remarkably consistent with real-world physics, however, they still leave room for improvement. We observe that image regions that receive less light from the light probe are more prone to errors for all models. Furthermore, building on their success in evaluating macroscopic lighting plausibility, we test VLMs on our task but find that they are unsuitable for pixel-level light transport analysis. We will make the benchmark, together with the real-world dataset, publicly available to encourage future research on this topic.
- Abstract（参考訳）: 生成画像編集モデルの最近の進歩は目覚ましい視覚的忠実さを達成しているが、これらのシステムが現実世界の照明に関する本質的な知識を持っているかどうかには疑問が残る。
既存のベンチマークでは、通常、VLMや人間の判断を用いて、キュレートされたインターネット画像上で知覚光輸送の高レベルな可視性を評価する。
本研究では,3Dアンコール光プローブ(3DLP)ベンチマークを導入し,実世界の照明変化の高忠実度HDRデータセットを新たに取得した。
データセットは、光プローブを物理的にオン/オフする、多様な屋内風景の1Kイメージ対で構成されている。
粒度解析を行うため,鋳造影や金属表面などの特定の画像領域に注釈を付けた。
このデータを用いて,光プローブの編集精度と現実性との整合性を評価することにより,最先端の画像編集モデルの評価を行った。
評価は2つの新しいスコアを使用して、調整されたホワイトバランスなど、AIが生成した写真効果を補正する。
これらの結果から, モデル全体の性能は著しく異なり, 特異なハイライトに対する差はわずかに小さくなっていることがわかった。
最高の画像編集モデルは現実世界の物理と著しく一致していますが、改善の余地は残っています。
我々は、光プローブから少ない光を受信する画像領域は、全てのモデルでエラーを起こしやすいことを観察する。
さらに、マクロな光の可視性を評価することに成功して、我々のタスクでVLMをテストするが、ピクセルレベルの光輸送解析には適さないことが判明した。
ベンチマークと実世界のデータセットを合わせて公開し、このトピックに関する今後の研究を奨励します。
関連論文リスト
- Shedding Light: A Benchmark for Evaluating Lighting Understanding in Generative Image Models [30.845505604996145]
本研究は、生成モデルの照明理解と調和能力を評価するためのベンチマークを提案する。
我々は、光プローブとして機能する単純な物体を含む画像を含むマルチ照度データセットを使用し、モデルに元の画像に同じ物体を塗り込むよう促す。
次に、塗布されたプローブから照明方向、色、放射率分布を推定し、照明精度と測光リアリズムを定量的に測定する。
論文 参考訳（メタデータ） (2026-09-09T19:49:30Z) - 3DPR: Single Image 3D Portrait Relight using Generative Priors [101.74130664920868]
3DPRは画像ベースのリライティングモデルであり、マルチビューのOne-Light-at-A-Time (OLAT)イメージから学習した生成的事前情報を活用する。
我々は,事前学習した画像データセットから学習した顔の幾何に先立ってリッチな情報を提供する,事前学習された生成ヘッドモデルの潜時空間を活用する。
我々のリフレクタンスネットワークは生成ヘッドモデルの潜在空間で動作し、比較的少数の光ステージ画像でリフレクタンスモデルを訓練することが可能である。
論文 参考訳（メタデータ） (2025-10-17T17:37:42Z) - LuxDiT: Lighting Estimation with Video Diffusion Transformer [66.60450792095901]
単一の画像やビデオからシーンライティングを推定することは、コンピュータビジョンとグラフィックスにおいて長年の課題である。
本稿では,映像拡散変換器を微調整し,視覚入力を前提としたHDR環境マップを生成するLuxDiTを提案する。
論文 参考訳（メタデータ） (2025-09-03T19:59:20Z) - Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。
事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。
これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
論文 参考訳（メタデータ） (2024-07-15T07:16:11Z) - Human Pose Estimation in Extremely Low-Light Conditions [21.210706205233286]
我々は、専用のカメラシステムを開発し、正確なポーズラベルを持つ実際の低照度画像の新しいデータセットを構築した。
我々のカメラシステムにより、データセット内の各低照度画像は、整列した明るい画像と結合され、正確なポーズラベリングを可能にします。
また、照明条件に敏感な表現を学習するために、特権情報を完全に活用する新しいモデルと新しいトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2023-03-27T17:28:25Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳（メタデータ） (2021-10-30T01:59:39Z) - NOD: Taking a Closer Look at Detection under Extreme Low-Light
Conditions with Night Object Detection Dataset [25.29013780731876]
低い光は、以前考えられていたよりもマシン認知にとって困難である。
夜間に街路で撮影されたダイナミックなシーンを示す大規模なデータセットを提示する。
本稿では,画像強調モジュールをオブジェクト検出フレームワークと2つの新しいデータ拡張手法に組み込むことを提案する。
論文 参考訳（メタデータ） (2021-10-20T03:44:04Z) - Deep Portrait Lighting Enhancement with 3D Guidance [24.01582513386902]
顔の3次元誘導に基づくポートレートライティング向上のための新しいディープラーニングフレームワークを提案する。
FFHQデータセットと画像内画像による実験結果から,提案手法は定量的な計測値と視覚的品質の両方の観点から,最先端の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-08-04T15:49:09Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z) - A study of the effect of the illumination model on the generation of
synthetic training datasets [4.238220229373858]
レンダリングソフトウェアで使用される照明モデルが生成した画像の品質に与える影響について検討する。
私たちは8つのトレーニングセットを作成しました。それぞれが異なる照明モデルで、それらを3つの異なるネットワークアーキテクチャでテストしました。
論文 参考訳（メタデータ） (2020-06-15T23:22:24Z) - Deep Lighting Environment Map Estimation from Spherical Panoramas [0.0]
本稿では,単一のLDR単分子球状パノラマからHDR照明環境マップを推定するデータ駆動モデルを提案する。
データジェネレータと監視機構として画像ベースのリライティングを活用するために,表面形状の可用性を活用する。
論文 参考訳（メタデータ） (2020-05-16T14:23:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。