論文の概要: Stronger Semantic Encoders Can Harm Relighting Performance: Probing Visual Priors via Augmented Latent Intrinsics
- arxiv url: http://arxiv.org/abs/2602.01391v1
- Date: Sun, 01 Feb 2026 18:51:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.764148
- Title: Stronger Semantic Encoders Can Harm Relighting Performance: Probing Visual Priors via Augmented Latent Intrinsics
- Title(参考訳): より強力なセマンティックエンコーダがパフォーマンスを損なう可能性がある - 拡張された潜在イントロニクスによるビジュアルプライオリティの提案
- Authors: Xiaoyan Xing, Xiao Zhang, Sezer Karaoglu, Theo Gevers, Anand Bhattad,
- Abstract要約: Augmented Latent Intrinsics (ALI) を導入する。
ALIは、複雑で特異な材料に対する最大の利益で、リライティングの大幅な改善を実現している。
- 参考スコア(独自算出の注目度): 28.52226671272658
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Image-to-image relighting requires representations that disentangle scene properties from illumination. Recent methods rely on latent intrinsic representations but remain under-constrained and often fail on challenging materials such as metal and glass. A natural hypothesis is that stronger pretrained visual priors should resolve these failures. We find the opposite: features from top-performing semantic encoders often degrade relighting quality, revealing a fundamental trade-off between semantic abstraction and photometric fidelity. We study this trade-off and introduce Augmented Latent Intrinsics (ALI), which balances semantic context and dense photometric structure by fusing features from a pixel-aligned visual encoder into a latent-intrinsic framework, together with a self-supervised refinement strategy to mitigate the scarcity of paired real-world data. Trained only on unlabeled real-world image pairs and paired with a dense, pixel-aligned visual prior, ALI achieves strong improvements in relighting, with the largest gains on complex, specular materials. Project page: https:\\augmented-latent-intrinsics.github.io
- Abstract(参考訳): Image-to-image relightingは、シーンプロパティを照明から切り離す表現を必要とする。
近年の手法は潜伏固有表現に頼っているが、制約の低いままであり、金属やガラスのような挑戦的な材料に失敗することが多い。
自然な仮説は、より強い事前訓練された視覚的事前はこれらの失敗を解決するべきであるというものである。
逆に、トップパフォーマンスのセマンティックエンコーダの機能は、しばしばリライト品質を低下させ、セマンティック抽象化と光度フィリティの基本的なトレードオフを明らかにします。
本稿では,このトレードオフを考察し,画素アラインの視覚エンコーダから潜在固有のフレームワークに特徴を融合させることにより,意味コンテキストと高密度な光度構造をバランスさせるAugmented Latent Intrinsics (ALI)を紹介する。
ALIは、ラベルのない実世界のイメージペアにのみトレーニングされ、高密度のピクセルアライメントの視覚的前駆体とペアリングすることで、リライティングの大幅な改善を実現している。
プロジェクトページ: https:\\augmented-latent-inrinsics.github.io
関連論文リスト
- From Enhancement to Understanding: Build a Generalized Bridge for Low-light Vision via Semantically Consistent Unsupervised Fine-tuning [65.94580484237737]
低照度向上は下流タスクの画質を向上させるが、既存の手法は物理的または幾何学的先行に頼っている。
我々は、低照度強化と低照度理解の間に一般化された橋を架け、この橋をGEFU(Generalized Enhancement For Understanding)と呼ぶ。
低照度劣化の多様な原因を解決するために,事前学習した生成拡散モデルを用いて画像の最適化を行い,ゼロショット一般化性能を実現する。
論文 参考訳(メタデータ) (2025-07-11T07:51:26Z) - ZoomNeXt: A Unified Collaborative Pyramid Network for Camouflaged Object Detection [70.11264880907652]
最近のオブジェクト(COD)は、現実のシナリオでは極めて複雑で難しい、視覚的にブレンドされたオブジェクトを周囲に分割しようと試みている。
本研究では,不明瞭な画像を観察したり,ズームインしたりアウトしたりする際の人間の行動を模倣する,効果的な統合協調ピラミッドネットワークを提案する。
我々のフレームワークは、画像とビデオのCODベンチマークにおいて、既存の最先端の手法を一貫して上回っている。
論文 参考訳(メタデータ) (2023-10-31T06:11:23Z) - Empowering Low-Light Image Enhancer through Customized Learnable Priors [40.83461757842304]
そこで本稿では,学習先をカスタマイズする可能性を探る,低照度画像強調のためのパラダイムを提案する。
Masked Autoencoder(MAE)の強力な特徴表現機能によって、我々はMAEベースの照明とノイズ先行をカスタマイズする。
論文 参考訳(メタデータ) (2023-09-05T05:20:11Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳(メタデータ) (2023-05-17T13:56:48Z) - Learning Semantic-Aware Knowledge Guidance for Low-Light Image
Enhancement [69.47143451986067]
低照度画像強調法 (LLIE) は、照明の改善方法と正常照度画像の生成方法を検討する。
既存の手法の大部分は、異なる領域のセマンティック情報を考慮せずに、グローバルかつ均一な方法で低照度画像を改善する。
セマンティックセグメンテーションモデルにカプセル化される多種多様な事前学習において、低照度強化モデルを支援する新しいセマンティック・アウェア・ナレッジ誘導フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-14T10:22:28Z) - RobustNeRF: Ignoring Distractors with Robust Losses [32.2329459013342]
我々は、最適化問題の解として、NeRFトレーニングのためのロバストな推定形式を提唱し、トレーニングデータのイントラクタをモデリングする。
本手法は, シーンから外れ値を取り除き, ベースライン, 合成シーン, 現実シーンを改良する。
論文 参考訳(メタデータ) (2023-02-02T02:45:23Z) - Enhancing Low-Light Images in Real World via Cross-Image Disentanglement [58.754943762945864]
そこで本研究では,現実の汚職とミスアライメントされたトレーニング画像からなる,新しい低照度画像強調データセットを提案する。
本モデルでは,新たに提案したデータセットと,他の一般的な低照度データセットの両方に対して,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-01-10T03:12:52Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳(メタデータ) (2021-10-30T01:59:39Z) - USIS: Unsupervised Semantic Image Synthesis [9.613134538472801]
セマンティック画像合成(USIS)のための新しい教師なしパラダイムを提案する。
USISは、自己教師付きセグメンテーションロスを使用して、視覚的に分離可能なセグメンテーションクラスで画像を出力することを学ぶ。
実画像の色とテクスチャの分布を高周波数情報を失うことなく一致させるため,ウェーブレットを用いた識別手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T20:48:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。