論文の概要: Embracing Compact and Robust Architectures for Multi-Exposure Image
Fusion
- arxiv url: http://arxiv.org/abs/2305.12236v1
- Date: Sat, 20 May 2023 17:01:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 23:38:53.188084
- Title: Embracing Compact and Robust Architectures for Multi-Exposure Image
Fusion
- Title(参考訳): マルチ露光画像融合のためのコンパクト・ロバストアーキテクチャの導入
- Authors: Zhu Liu and Jinyuan Liu and Guanyao Wu and Xin Fan and Risheng Liu
- Abstract要約: 本稿では,堅牢なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを含む探索型パラダイムを提案する。
シーンリライティングと変形可能な畳み込みを利用して、カメラの動きに拘わらず、画像を正確に調整することができる。
我々は、様々な競争方式と比較して最先端の性能を実現し、一般的なシナリオと不整合シナリオに対するPSNRの4.02%と29.34%の改善を実現した。
- 参考スコア(独自算出の注目度): 50.598654017728045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, deep learning-based methods have achieved remarkable
progress in multi-exposure image fusion. However, existing methods rely on
aligned image pairs, inevitably generating artifacts when faced with device
shaking in real-world scenarios. Moreover, these learning-based methods are
built on handcrafted architectures and operations by increasing network depth
or width, neglecting different exposure characteristics. As a result, these
direct cascaded architectures with redundant parameters fail to achieve highly
effective inference time and lead to massive computation. To alleviate these
issues, in this paper, we propose a search-based paradigm, involving
self-alignment and detail repletion modules for robust multi-exposure image
fusion. By utilizing scene relighting and deformable convolutions, the
self-alignment module can accurately align images despite camera movement.
Furthermore, by imposing a hardware-sensitive constraint, we introduce neural
architecture search to discover compact and efficient networks, investigating
effective feature representation for fusion. We realize the state-of-the-art
performance in comparison to various competitive schemes, yielding a 4.02% and
29.34% improvement in PSNR for general and misaligned scenarios, respectively,
while reducing inference time by 68.1%. The source code will be available at
https://github.com/LiuZhu-CV/CRMEF.
- Abstract(参考訳): 近年,深層学習に基づく手法はマルチ露光画像融合において顕著な進歩を遂げている。
しかし、既存の手法はアライメントされたイメージペアに依存しており、現実のシナリオでデバイスが揺れるときに必然的にアーティファクトを生成する。
さらに,ネットワークの深さや幅を増加させ,異なる露光特性を無視することで,手作りのアーキテクチャや操作に基づいて学習手法を構築する。
結果として、冗長パラメータを持つこれらの直接カスケードアーキテクチャは、非常に効果的な推論時間を達成できず、大規模な計算に繋がる。
そこで,本稿では,ロバストな多重露光画像融合のための自己調整と細部補間モジュールを含む探索に基づくパラダイムを提案する。
シーンリライティングと変形可能な畳み込みを利用して、カメラの動きに拘わらず、画像を正確に調整することができる。
さらに、ハードウェアに敏感な制約を課すことで、コンパクトで効率的なネットワークを探索し、融合のための効果的な特徴表現を探索するニューラルアーキテクチャ探索を導入する。
我々は,様々な競争方式と比較して最先端の性能を実現し,一般シナリオと不一致シナリオのPSNRをそれぞれ4.02%,29.34%改善し,推論時間を68.1%削減した。
ソースコードはhttps://github.com/LiuZhu-CV/CRMEFで入手できる。
関連論文リスト
- FuseFormer: A Transformer for Visual and Thermal Image Fusion [0.0]
本稿では,評価指標を損失関数として使用する際の限界を緩和する画像融合手法を提案する。
提案手法は,局所的およびグローバルなコンテキスト情報の両方に順応的に対処する,トランスフォーマーベースのマルチスケール融合戦略を統合する。
論文 参考訳(メタデータ) (2024-02-01T19:40:39Z) - Bracketing is All You Need: Unifying Image Restoration and Enhancement
Tasks with Multi-Exposure Images [54.52482239188794]
本稿では,ブラケット写真を利用して修復作業と強化作業を統合することを提案する。
実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。
特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
論文 参考訳(メタデータ) (2024-01-01T14:14:35Z) - BusReF: Infrared-Visible images registration and fusion focus on
reconstructible area using one set of features [39.575353043949725]
マルチモーダルカメラが連携するシナリオでは、非アライメント画像を扱う際の問題は回避できない。
既存の画像融合アルゴリズムは、より正確な融合結果を得るために、厳密に登録された入力画像対に大きく依存している。
本稿では,BusRefと呼ばれる単一のフレームワークにおける画像登録と融合の問題に対処することを目的とする。
論文 参考訳(メタデータ) (2023-12-30T17:32:44Z) - Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for
Loss-free Multi-Exposure Image Fusion [60.221404321514086]
マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。
本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
論文 参考訳(メタデータ) (2023-09-03T08:07:26Z) - A Task-guided, Implicitly-searched and Meta-initialized Deep Model for
Image Fusion [69.10255211811007]
本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。
具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。
このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
論文 参考訳(メタデータ) (2023-05-25T08:54:08Z) - LRRNet: A Novel Representation Learning Guided Fusion Network for
Infrared and Visible Images [98.36300655482196]
我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。
特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。
この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
論文 参考訳(メタデータ) (2023-04-11T12:11:23Z) - Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
上記の問題に対処するために,教師なし適応画像融合法を提案する。
入力元画像間の画素の接続を計測するグローバルマップを構築した。
本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
論文 参考訳(メタデータ) (2022-01-25T07:50:14Z) - End-to-End Learning for Simultaneously Generating Decision Map and
Multi-Focus Image Fusion Result [7.564462759345851]
多焦点画像融合の目的は、異なる画像の集中領域を集め、ユニークな全焦点融合画像を生成することである。
既存のディープラーニング構造のほとんどは、融合品質とエンドツーエンドの実装の利便性のバランスが取れなかった。
本稿では,決定マップと融合した結果をエンドツーエンドのトレーニング手順で同時に生成するカスケードネットワークを提案する。
論文 参考訳(メタデータ) (2020-10-17T09:09:51Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳(メタデータ) (2020-04-30T03:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。