論文の概要: Attention-Guided Progressive Neural Texture Fusion for High Dynamic Range Image Restoration

• arxiv url: http://arxiv.org/abs/2107.06211v1
• Date: Tue, 13 Jul 2021 16:07:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 14:34:27.690948
• Title: Attention-Guided Progressive Neural Texture Fusion for High Dynamic Range Image Restoration
• Title（参考訳）: 高ダイナミックレンジ画像復元のための注意誘導型進行神経テクスチャ融合
• Authors: Jie Chen, Zaifeng Yang, Tsz Nam Chan, Hui Li, Junhui Hou, and Lap-Pui Chau
• Abstract要約: 本研究では,Attention-guided Progressive Neural Texture Fusion (APNT-Fusion) HDR修復モデルを提案する。 飽和領域におけるテクスチャ特性の伝達とマルチ露光トナーとテクスチャ特徴の融合に着目した,効率的な2ストリーム構造を提案する。 プログレッシブテクスチャブレンディングモジュールは、エンコードされた2ストリーム特徴をマルチスケールかつプログレッシブな方法でブレンドするように設計されている。
• 参考スコア（独自算出の注目度）: 48.02238732099032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High Dynamic Range (HDR) imaging via multi-exposure fusion is an important task for most modern imaging platforms. In spite of recent developments in both hardware and algorithm innovations, challenges remain over content association ambiguities caused by saturation, motion, and various artifacts introduced during multi-exposure fusion such as ghosting, noise, and blur. In this work, we propose an Attention-guided Progressive Neural Texture Fusion (APNT-Fusion) HDR restoration model which aims to address these issues within one framework. An efficient two-stream structure is proposed which separately focuses on texture feature transfer over saturated regions and multi-exposure tonal and texture feature fusion. A neural feature transfer mechanism is proposed which establishes spatial correspondence between different exposures based on multi-scale VGG features in the masked saturated HDR domain for discriminative contextual clues over the ambiguous image areas. A progressive texture blending module is designed to blend the encoded two-stream features in a multi-scale and progressive manner. In addition, we introduce several novel attention mechanisms, i.e., the motion attention module detects and suppresses the content discrepancies among the reference images; the saturation attention module facilitates differentiating the misalignment caused by saturation from those caused by motion; and the scale attention module ensures texture blending consistency between different coder/decoder scales. We carry out comprehensive qualitative and quantitative evaluations and ablation studies, which validate that these novel modules work coherently under the same framework and outperform state-of-the-art methods.
• Abstract（参考訳）: マルチ露光融合による高ダイナミックレンジ(HDR)イメージングは、現代のほとんどのイメージングプラットフォームにとって重要な課題である。 近年のハードウェアとアルゴリズムのイノベーションの発展にもかかわらず、ゴースト、ノイズ、ブラーといったマルチ露光融合で導入された飽和、動き、および様々なアーティファクトによって引き起こされるコンテンツ関連の不明瞭さに対する課題が残っている。 本研究では,Attention-guided Progressive Neural Texture Fusion (APNT-Fusion) HDR修復モデルを提案する。 飽和領域におけるテクスチャ特性の伝達とマルチ露光トナーとテクスチャ特徴の融合に着目した,効率的な2ストリーム構造を提案する。 マスキング飽和hdrドメインにおける多スケールvgg特徴量に基づく異なる露光間の空間対応性を確立する神経特徴伝達機構を,曖昧な画像領域における識別的文脈手がかりとして提案する。 プログレッシブテクスチャブレンディングモジュールは、エンコードされた2ストリーム特徴をマルチスケールかつプログレッシブな方法でブレンドするように設計されている。 また,動き注目モジュールは,参照画像間のコンテンツの不一致を検出し,抑制する,飽和注意モジュールは,動きによる飽和に起因する不一致を区別し易くする,スケール注意モジュールは,異なるコーダ/デコーダスケール間のテクスチャブレンド一貫性を確保する,といった,いくつかの新しい注意機構を導入する。 我々は,これらの新モジュールが同一の枠組みの下で協調して動作し,最先端の手法より優れていることを検証する,総合的な質的,定量的な評価とアブレーション研究を行う。

関連論文リスト

• Unifying Visual and Semantic Feature Spaces with Diffusion Models for Enhanced Cross-Modal Alignment [20.902935570581207]
  本稿では,マルチモーダルアライメント・アンド・リコンストラクション・ネットワーク(MARNet)を導入し,視覚ノイズに対するモデルの耐性を高める。 MARNetは、異なるドメイン間で情報をスムーズかつ安定的にブレンドする、クロスモーダル拡散再構成モジュールを含んでいる。 2つのベンチマークデータセットであるVireo-Food172とIngredient-101で実施された実験は、MARNetがモデルによって抽出された画像情報の品質を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2024-07-26T16:30:18Z)
• A Dual Domain Multi-exposure Image Fusion Network based on the Spatial-Frequency Integration [57.14745782076976]
  マルチ露光画像融合は、異なる露光で画像を統合することにより、単一の高ダイナミック画像を生成することを目的としている。 本稿では,MEF-SFI と呼ばれる空間周波数統合フレームワークによるマルチ露光画像融合の新たな視点を提案する。 提案手法は,最先端のマルチ露光画像融合手法に対する視覚的近似核融合結果を実現する。
  論文  参考訳（メタデータ） (2023-12-17T04:45:15Z)
• IFT: Image Fusion Transformer for Ghost-free High Dynamic Range Imaging [26.127764855477782]
  マルチフレームハイダイナミックレンジ(HDR)画像は、コンテンツ補完的ではあるが空間的に不一致な低ダイナミックレンジ(LDR)画像から、ゴーストフリー画像の写実的詳細を再構成することを目的としている。 既存のHDRアルゴリズムは、ダイナミックなシーンで大きな動きを持つLDRフレーム間の長距離依存関係をキャプチャできないため、ゴーストアーティファクトを生成する傾向にある。 我々は,高速グローバルパッチ探索(FGPS)モジュールと,ゴーストフリーHDRイメージングのためのセルフクロスフュージョンモジュール(SCF)を併用した新しい画像融合トランスフォーマ(IFT)を提案する。
  論文  参考訳（メタデータ） (2023-09-26T15:38:52Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
  2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。 本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。 提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
  論文  参考訳（メタデータ） (2023-05-20T17:01:52Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Deep Progressive Feature Aggregation Network for High Dynamic Range Imaging [24.94466716276423]
  本研究では,動的シーンにおけるHDR画像の画質向上のための高度な特徴集約ネットワークを提案する。 提案手法は,高対応特徴を暗黙的にサンプリングし,それらを粗い方法で集約してアライメントする。 実験の結果,提案手法は異なるシーン下での最先端性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2022-08-04T04:37:35Z)
• HDR Reconstruction from Bracketed Exposures and Events [12.565039752529797]
  高品質なHDR画像の再構成は、現代の計算写真の中心にある。 特徴領域におけるブラケット画像とイベントを融合したマルチモーダルなエンドツーエンド学習型HDRイメージングシステムを提案する。 我々のフレームワークは、スライディングウィンドウを使用して入力イベントストリームをサブサンプリングすることで、イベントの時間分解能を高める。
  論文  参考訳（メタデータ） (2022-03-28T15:04:41Z)
• Blur-Attention: A boosting mechanism for non-uniform blurred image restoration [27.075713246257596]
  非一様ぼかし画像の特徴を動的に捉えるためのぼかしアテンションモジュールを提案する。 条件生成の逆方向のフレームワークにぼやけたアテンションネットワークを導入することにより、エンド・ツー・エンドのブラインド・モーション・デブロアリング法を提案する。 実験結果から,PSNR,SSIM,主観的視覚的品質の両面において,本手法の劣化能力は優れた客観的性能を示した。
  論文  参考訳（メタデータ） (2020-08-19T16:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。