論文の概要: TSCnet: A Text-driven Semantic-level Controllable Framework for Customized Low-Light Image Enhancement
- arxiv url: http://arxiv.org/abs/2503.08168v1
- Date: Tue, 11 Mar 2025 08:30:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 15:43:31.681761
- Title: TSCnet: A Text-driven Semantic-level Controllable Framework for Customized Low-Light Image Enhancement
- Title（参考訳）: TSCnet: カスタマイズされた低光画像強調のためのテキスト駆動セマンティックレベル制御可能なフレームワーク
- Authors: Miao Zhang, Jun Yin, Pengyu Zeng, Yiqing Shen, Shuai Lu, Xueqian Wang,
- Abstract要約: そこで本研究では,アクセプティブ駆動,セマンティックレベル,量的明るさ調整による照明制御をカスタマイズする,新たな光強調タスクとフレームワークを提案する。
ベンチマークデータセットの実験結果は、可視性を高め、自然な色バランスを維持し、アーティファクトを作成することなく詳細を増幅するフレームワークの優れたパフォーマンスを示す。
- 参考スコア（独自算出の注目度）: 30.498816319802412
- License:
- Abstract: Deep learning-based image enhancement methods show significant advantages in reducing noise and improving visibility in low-light conditions. These methods are typically based on one-to-one mapping, where the model learns a direct transformation from low light to specific enhanced images. Therefore, these methods are inflexible as they do not allow highly personalized mapping, even though an individual's lighting preferences are inherently personalized. To overcome these limitations, we propose a new light enhancement task and a new framework that provides customized lighting control through prompt-driven, semantic-level, and quantitative brightness adjustments. The framework begins by leveraging a Large Language Model (LLM) to understand natural language prompts, enabling it to identify target objects for brightness adjustments. To localize these target objects, the Retinex-based Reasoning Segment (RRS) module generates precise target localization masks using reflection images. Subsequently, the Text-based Brightness Controllable (TBC) module adjusts brightness levels based on the generated illumination map. Finally, an Adaptive Contextual Compensation (ACC) module integrates multi-modal inputs and controls a conditional diffusion model to adjust the lighting, ensuring seamless and precise enhancements accurately. Experimental results on benchmark datasets demonstrate our framework's superior performance at increasing visibility, maintaining natural color balance, and amplifying fine details without creating artifacts. Furthermore, its robust generalization capabilities enable complex semantic-level lighting adjustments in diverse open-world environments through natural language interactions.
- Abstract（参考訳）: 深層学習に基づく画像強調手法は,低照度条件下でのノイズ低減と可視性向上に重要な利点を示す。
これらの手法は典型的には1対1のマッピングに基づいており、モデルが低光から特定の強調画像への直接変換を学習する。
したがって、個々の照明嗜好が本質的にパーソナライズされているにもかかわらず、高度にパーソナライズされたマッピングを許さないため、これらの方法は柔軟性がない。
これらの制約を克服するため、我々は、アクシデント駆動、セマンティックレベル、量的明るさ調整による光制御をカスタマイズする新しい光強調タスクと、新しいフレームワークを提案する。
このフレームワークは、Large Language Model(LLM)を利用して自然言語のプロンプトを理解し、明るさ調整のためにターゲットオブジェクトを識別することから始まる。
これらのターゲットオブジェクトをローカライズするために、Retinex-based Reasoning Segment (RRS)モジュールは反射画像を用いて正確なターゲットローカライズマスクを生成する。
その後、テキストベースのBrightness Controllable (TBC)モジュールは、生成された照明マップに基づいて輝度レベルを調整する。
最後に、Adaptive Contextual Compensation (ACC)モジュールはマルチモーダル入力を統合し、条件拡散モデルを制御して照明を調整する。
ベンチマークデータセットの実験結果は、可視性を高め、自然な色バランスを維持し、アーティファクトを作成することなく詳細を増幅するフレームワークの優れたパフォーマンスを示す。
さらに、その堅牢な一般化機能は、自然言語の相互作用を通じて、多様なオープンワールド環境における複雑なセマンティックレベルの照明調整を可能にする。
関連論文リスト
- DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。
我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。
このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
論文 参考訳（メタデータ） (2024-10-10T17:56:44Z) - ALEN: A Dual-Approach for Uniform and Non-Uniform Low-Light Image Enhancement [10.957431540794836]
不適切な照明は、情報損失や画質の低下を招き、監視などの様々な応用に影響を及ぼす可能性がある。
現在のエンハンスメント技術は、しばしば特定のデータセットを使用して低照度画像を強化するが、様々な現実世界の条件に適応する際の課題は残る。
アダプティブ・ライト・エンハンスメント・ネットワーク (ALEN) を導入し、その主なアプローチは、ローカル照明とグローバル照明の強化が必要であるかどうかを決定するための分類機構を使用することである。
論文 参考訳（メタデータ） (2024-07-29T05:19:23Z) - CodeEnhance: A Codebook-Driven Approach for Low-Light Image Enhancement [97.95330185793358]
低照度画像強調(LLIE)は、低照度画像を改善することを目的としている。
既存の手法では、様々な明るさ劣化からの回復の不確実性と、テクスチャと色情報の喪失という2つの課題に直面している。
我々は、量子化された先行値と画像の精細化を利用して、新しいエンハンスメント手法、CodeEnhanceを提案する。
論文 参考訳（メタデータ） (2024-04-08T07:34:39Z) - A Non-Uniform Low-Light Image Enhancement Method with Multi-Scale
Attention Transformer and Luminance Consistency Loss [11.585269110131659]
低照度画像強調は、薄暗い環境で収集された画像の知覚を改善することを目的としている。
既存の方法では、識別された輝度情報を適応的に抽出することができず、露光過多や露光過多を容易に引き起こすことができる。
MSATrというマルチスケールアテンション変換器を提案し,光バランスの局所的・グローバル的特徴を十分に抽出し,視覚的品質を向上させる。
論文 参考訳（メタデータ） (2023-12-27T10:07:11Z) - Dimma: Semi-supervised Low Light Image Enhancement with Adaptive Dimming [0.728258471592763]
自然色を維持しながら低照度画像を強調することは、カメラ処理のバリエーションによって難しい問題である。
そこで我々はDimmaを提案する。Dimmaは、画像対の小さなセットを利用して、任意のカメラと整合する半教師付きアプローチである。
そこで我々は,照明の違いに基づいて,シーンの歪み色を生成する畳み込み混合密度ネットワークを導入することで実現した。
論文 参考訳（メタデータ） (2023-10-14T17:59:46Z) - Low-Light Image Enhancement with Illumination-Aware Gamma Correction and
Complete Image Modelling Network [69.96295927854042]
低照度環境は通常、情報の少ない大規模な暗黒地帯に繋がる。
本稿では,ガンマ補正の有効性を深層ネットワークのモデリング能力と統合することを提案する。
指数関数演算は高い計算複雑性をもたらすので、Taylor Series を用いてガンマ補正を近似することを提案する。
論文 参考訳（メタデータ） (2023-08-16T08:46:51Z) - CLE Diffusion: Controllable Light Enhancement Diffusion Model [80.62384873945197]
制御可能な光拡張拡散モデル(CLE Diffusion)は、ユーザがリッチな制御性を提供するための新しい拡散フレームワークである。
条件付き拡散モデルを用いて構築された照明埋め込みは,ユーザが希望する明るさレベルを制御できるようにする。
論文 参考訳（メタデータ） (2023-08-13T09:05:56Z) - Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳（メタデータ） (2023-08-10T07:53:06Z) - Learning Semantic-Aware Knowledge Guidance for Low-Light Image
Enhancement [69.47143451986067]
低照度画像強調法 (LLIE) は、照明の改善方法と正常照度画像の生成方法を検討する。
既存の手法の大部分は、異なる領域のセマンティック情報を考慮せずに、グローバルかつ均一な方法で低照度画像を改善する。
セマンティックセグメンテーションモデルにカプセル化される多種多様な事前学習において、低照度強化モデルを支援する新しいセマンティック・アウェア・ナレッジ誘導フレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-14T10:22:28Z) - Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。
提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
論文 参考訳（メタデータ） (2020-05-06T13:37:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。