論文の概要: Embracing Compact and Robust Architectures for Multi-Exposure Image Fusion

• arxiv url: http://arxiv.org/abs/2305.12236v1
• Date: Sat, 20 May 2023 17:01:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 23:38:53.188084
• Title: Embracing Compact and Robust Architectures for Multi-Exposure Image Fusion
• Title（参考訳）: マルチ露光画像融合のためのコンパクト・ロバストアーキテクチャの導入
• Authors: Zhu Liu and Jinyuan Liu and Guanyao Wu and Xin Fan and Risheng Liu
• Abstract要約: 本稿では,堅牢なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを含む探索型パラダイムを提案する。 シーンリライティングと変形可能な畳み込みを利用して、カメラの動きに拘わらず、画像を正確に調整することができる。 我々は、様々な競争方式と比較して最先端の性能を実現し、一般的なシナリオと不整合シナリオに対するPSNRの4.02%と29.34%の改善を実現した。
• 参考スコア（独自算出の注目度）: 50.598654017728045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, deep learning-based methods have achieved remarkable progress in multi-exposure image fusion. However, existing methods rely on aligned image pairs, inevitably generating artifacts when faced with device shaking in real-world scenarios. Moreover, these learning-based methods are built on handcrafted architectures and operations by increasing network depth or width, neglecting different exposure characteristics. As a result, these direct cascaded architectures with redundant parameters fail to achieve highly effective inference time and lead to massive computation. To alleviate these issues, in this paper, we propose a search-based paradigm, involving self-alignment and detail repletion modules for robust multi-exposure image fusion. By utilizing scene relighting and deformable convolutions, the self-alignment module can accurately align images despite camera movement. Furthermore, by imposing a hardware-sensitive constraint, we introduce neural architecture search to discover compact and efficient networks, investigating effective feature representation for fusion. We realize the state-of-the-art performance in comparison to various competitive schemes, yielding a 4.02% and 29.34% improvement in PSNR for general and misaligned scenarios, respectively, while reducing inference time by 68.1%. The source code will be available at https://github.com/LiuZhu-CV/CRMEF.
• Abstract（参考訳）: 近年,深層学習に基づく手法はマルチ露光画像融合において顕著な進歩を遂げている。 しかし、既存の手法はアライメントされたイメージペアに依存しており、現実のシナリオでデバイスが揺れるときに必然的にアーティファクトを生成する。 さらに,ネットワークの深さや幅を増加させ,異なる露光特性を無視することで,手作りのアーキテクチャや操作に基づいて学習手法を構築する。 結果として、冗長パラメータを持つこれらの直接カスケードアーキテクチャは、非常に効果的な推論時間を達成できず、大規模な計算に繋がる。 そこで,本稿では,ロバストな多重露光画像融合のための自己調整と細部補間モジュールを含む探索に基づくパラダイムを提案する。 シーンリライティングと変形可能な畳み込みを利用して、カメラの動きに拘わらず、画像を正確に調整することができる。 さらに、ハードウェアに敏感な制約を課すことで、コンパクトで効率的なネットワークを探索し、融合のための効果的な特徴表現を探索するニューラルアーキテクチャ探索を導入する。 我々は,様々な競争方式と比較して最先端の性能を実現し,一般シナリオと不一致シナリオのPSNRをそれぞれ4.02%,29.34%改善し,推論時間を68.1%削減した。 ソースコードはhttps://github.com/LiuZhu-CV/CRMEFで入手できる。

関連論文リスト

• Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for Loss-free Multi-Exposure Image Fusion [60.221404321514086]
  マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。 本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
  論文  参考訳（メタデータ） (2023-09-03T08:07:26Z)
• Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing [54.168567276280505]
  画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。 振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。 第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
  論文  参考訳（メタデータ） (2023-08-14T08:23:58Z)
• PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant Semantic Segmentation [50.556961575275345]
  対向シーンにおけるセグメンテーションの堅牢性を促進するための認識認識型融合フレームワークを提案する。 我々は,先進の競争相手に比べて15.3% mIOUの利得で,ロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-08-08T01:55:44Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
  上記の問題に対処するために,教師なし適応画像融合法を提案する。 入力元画像間の画素の接続を計測するグローバルマップを構築した。 本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-01-25T07:50:14Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• End-to-End Learning for Simultaneously Generating Decision Map and Multi-Focus Image Fusion Result [7.564462759345851]
  多焦点画像融合の目的は、異なる画像の集中領域を集め、ユニークな全焦点融合画像を生成することである。 既存のディープラーニング構造のほとんどは、融合品質とエンドツーエンドの実装の利便性のバランスが取れなかった。 本稿では,決定マップと融合した結果をエンドツーエンドのトレーニング手順で同時に生成するカスケードネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-17T09:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。