論文の概要: ISALux: Illumination and Segmentation Aware Transformer Employing Mixture of Experts for Low Light Image Enhancement
- arxiv url: http://arxiv.org/abs/2508.17885v1
- Date: Mon, 25 Aug 2025 10:47:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 18:43:45.737813
- Title: ISALux: Illumination and Segmentation Aware Transformer Employing Mixture of Experts for Low Light Image Enhancement
- Title(参考訳): ISALux: 低光画像強調のためのエキスパートの混在を利用した照明・セグメンテーション対応変圧器
- Authors: Raul Balmez, Alexandru Brateanu, Ciprian Orhei, Codruta Ancuti, Cosmin Ancuti,
- Abstract要約: ISALuxは低光画像強調(LLIE)のためのトランスフォーマーベースのアプローチである
HISA-MSAは特徴抽出のための照明とセマンティックセグメンテーションマップを統合している。
MoEベースのFeed-Forward Network (FFN)は文脈学習を強化する。
- 参考スコア(独自算出の注目度): 39.24835095169737
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce ISALux, a novel transformer-based approach for Low-Light Image Enhancement (LLIE) that seamlessly integrates illumination and semantic priors. Our architecture includes an original self-attention block, Hybrid Illumination and Semantics-Aware Multi-Headed Self- Attention (HISA-MSA), which integrates illumination and semantic segmentation maps for en- hanced feature extraction. ISALux employs two self-attention modules to independently process illumination and semantic features, selectively enriching each other to regulate luminance and high- light structural variations in real-world scenarios. A Mixture of Experts (MoE)-based Feed-Forward Network (FFN) enhances contextual learning, with a gating mechanism conditionally activating the top K experts for specialized processing. To address overfitting in LLIE methods caused by distinct light patterns in benchmarking datasets, we enhance the HISA-MSA module with low-rank matrix adaptations (LoRA). Extensive qualitative and quantitative evaluations across multiple specialized datasets demonstrate that ISALux is competitive with state-of-the-art (SOTA) methods. Addition- ally, an ablation study highlights the contribution of each component in the proposed model. Code will be released upon publication.
- Abstract(参考訳): 我々は、照明とセマンティック先行をシームレスに統合する、低光画像強調(LLIE)のための新しいトランスフォーマーベースのアプローチであるISALuxを紹介する。
我々のアーキテクチャは、本来の自己アテンションブロック、ハイブリッドイルミネーション、セマンティックス・アウェア・マルチヘッド・セルフアテンション(HISA-MSA)を含み、en-hanced特徴抽出のための照明とセマンティックセグメンテーション・マップを統合している。
ISALuxは照明と意味的特徴を独立に処理するために2つの自己注意モジュールを使用しており、現実のシナリオにおける輝度と高光度構造の変化を規制するために互いに選択的に強化している。
Mixture of Experts (MoE)ベースのFeed-Forward Network (FFN)は、特別な処理のためにトップK専門家を条件付きで活性化するゲーティング機構によって、文脈学習を強化する。
ベンチマークデータセットにおける異なる光パターンによるLLIE手法のオーバーフィッティングに対処するため,ローランク行列適応 (LoRA) を用いたHISA-MSAモジュールを改良した。
複数の専門データセットにわたる大規模な質的および定量的評価は、ISALuxが最先端(SOTA)手法と競合していることを示している。
補足-補助的な研究は、提案したモデルにおける各コンポーネントの寄与を強調している。
コードは出版時に公開される。
関連論文リスト
- Adapting Large VLMs with Iterative and Manual Instructions for Generative Low-light Enhancement [41.66776033752888]
たいていの低照度画像強調法は、事前訓練されたモデル事前、低照度入力、またはその両方に依存している。
提案する VLM-IMI は,大規模視覚言語モデルに反復的および手動命令を付加した新しいフレームワークである。
VLM-IMIは、所望のノーマルライトコンテンツのテキスト記述をエンハンスメントキューとして組み込んで、意味的にインフォメーションされた復元を可能にする。
論文 参考訳(メタデータ) (2025-07-24T03:35:20Z) - SAIGFormer: A Spatially-Adaptive Illumination-Guided Network for Low-Light Image Enhancement [58.79901582809091]
近年, トランスフォーマーを用いた低照度化手法は, 世界照明の回復に有望な進展をもたらした。
近年, トランスフォーマーを用いた低照度化手法は, 世界照明の回復に有望な進展をもたらした。
正確な照明復元を可能にする空間適応照明誘導変圧器フレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-21T11:38:56Z) - Low-Light Enhancement via Encoder-Decoder Network with Illumination Guidance [0.0]
本稿では,低照度画像強調のための新しいディープラーニングフレームワーク,Theを紹介する。
Illumination Guidance (EDNIG) を用いたデコーダネットワーク
EDNIGはBright Channel Prior (BCP)から派生した照明マップをガイダンス入力として統合する。
合成損失関数を用いてGAN(Generative Adversarial Network)フレームワーク内で最適化され、対向損失、画素単位の平均二乗誤差(MSE)、知覚損失を組み合わせた。
論文 参考訳(メタデータ) (2025-07-04T09:35:00Z) - Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs [56.76586846269894]
MLLM(Multimodal Large Language Models)は、様々な領域で成功している。
その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究はほとんど未調査のままである。
専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。
論文 参考訳(メタデータ) (2025-06-30T15:07:41Z) - ALEN: A Dual-Approach for Uniform and Non-Uniform Low-Light Image Enhancement [10.957431540794836]
不適切な照明は、情報損失や画質の低下を招き、監視などの様々な応用に影響を及ぼす可能性がある。
現在のエンハンスメント技術は、しばしば特定のデータセットを使用して低照度画像を強化するが、様々な現実世界の条件に適応する際の課題は残る。
アダプティブ・ライト・エンハンスメント・ネットワーク (ALEN) を導入し、その主なアプローチは、ローカル照明とグローバル照明の強化が必要であるかどうかを決定するための分類機構を使用することである。
論文 参考訳(メタデータ) (2024-07-29T05:19:23Z) - Contrastive Learning-Based Spectral Knowledge Distillation for
Multi-Modality and Missing Modality Scenarios in Semantic Segmentation [2.491548070992611]
CSK-Netと呼ばれる新しいマルチモーダル融合手法を提案する。
対照的な学習に基づくスペクトル知識蒸留技術を用いる。
実験の結果、CSK-Netはマルチモーダルタスクや欠落したモダリティにおいて最先端のモデルを上回ることがわかった。
論文 参考訳(メタデータ) (2023-12-04T10:27:09Z) - Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-10T07:53:06Z) - Learning Semantic-Aware Knowledge Guidance for Low-Light Image
Enhancement [69.47143451986067]
低照度画像強調法 (LLIE) は、照明の改善方法と正常照度画像の生成方法を検討する。
既存の手法の大部分は、異なる領域のセマンティック情報を考慮せずに、グローバルかつ均一な方法で低照度画像を改善する。
セマンティックセグメンテーションモデルにカプセル化される多種多様な事前学習において、低照度強化モデルを支援する新しいセマンティック・アウェア・ナレッジ誘導フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-14T10:22:28Z) - Adaptive Multiscale Illumination-Invariant Feature Representation for
Undersampled Face Recognition [29.002873450422083]
本稿では,アンダーサンプ型顔認識における照明特性の変動を解消するために,照明不変の特徴表現手法を提案する。
入力画像の照明レベルを判定するために,Singular Value Decomposition (SVD)に基づく新しい照明レベル分類手法を提案する。
実験の結果,JLEF-featureとAJLEF-faceは,様々な照明下でのアンダーサンプル顔認識において,他の関連手法よりも優れていた。
論文 参考訳(メタデータ) (2020-04-07T06:48:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。