論文の概要: IFT: Image Fusion Transformer for Ghost-free High Dynamic Range Imaging
- arxiv url: http://arxiv.org/abs/2309.15019v1
- Date: Tue, 26 Sep 2023 15:38:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 13:02:00.664005
- Title: IFT: Image Fusion Transformer for Ghost-free High Dynamic Range Imaging
- Title（参考訳）: IFT:ゴーストフリー高ダイナミックレンジイメージングのための画像融合変換器
- Authors: Hailing Wang, Wei Li, Yuanyuan Xi, Jie Hu, Hanting Chen, Longyu Li and
Yunhe Wang
- Abstract要約: マルチフレームハイダイナミックレンジ(HDR)画像は、コンテンツ補完的ではあるが空間的に不一致な低ダイナミックレンジ(LDR)画像から、ゴーストフリー画像の写実的詳細を再構成することを目的としている。
既存のHDRアルゴリズムは、ダイナミックなシーンで大きな動きを持つLDRフレーム間の長距離依存関係をキャプチャできないため、ゴーストアーティファクトを生成する傾向にある。
我々は,高速グローバルパッチ探索(FGPS)モジュールと,ゴーストフリーHDRイメージングのためのセルフクロスフュージョンモジュール(SCF)を併用した新しい画像融合トランスフォーマ(IFT)を提案する。
- 参考スコア（独自算出の注目度）: 26.127764855477782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-frame high dynamic range (HDR) imaging aims to reconstruct ghost-free
images with photo-realistic details from content-complementary but spatially
misaligned low dynamic range (LDR) images. Existing HDR algorithms are prone to
producing ghosting artifacts as their methods fail to capture long-range
dependencies between LDR frames with large motion in dynamic scenes. To address
this issue, we propose a novel image fusion transformer, referred to as IFT,
which presents a fast global patch searching (FGPS) module followed by a
self-cross fusion module (SCF) for ghost-free HDR imaging. The FGPS searches
the patches from supporting frames that have the closest dependency to each
patch of the reference frame for long-range dependency modeling, while the SCF
conducts intra-frame and inter-frame feature fusion on the patches obtained by
the FGPS with linear complexity to input resolution. By matching similar
patches between frames, objects with large motion ranges in dynamic scenes can
be aligned, which can effectively alleviate the generation of artifacts. In
addition, the proposed FGPS and SCF can be integrated into various deep HDR
methods as efficient plug-in modules. Extensive experiments on multiple
benchmarks show that our method achieves state-of-the-art performance both
quantitatively and qualitatively.
- Abstract（参考訳）: マルチフレームハイダイナミックレンジ(HDR)画像は、コンテンツ補完的ではあるが空間的に不整合な低ダイナミックレンジ(LDR)画像から、ゴーストフリーイメージを写実的に再構成することを目的としている。
既存のHDRアルゴリズムは、ダイナミックなシーンで大きな動きを持つLDRフレーム間の長距離依存関係をキャプチャできないため、ゴーストアーティファクトを生成する傾向にある。
この問題に対処するために、高速グローバルパッチ探索(FGPS)モジュールと、ゴーストフリーHDRイメージングのためのセルフクロスフュージョンモジュール(SCF)を提供するIFTと呼ばれる新しい画像融合変換器を提案する。
FGPSは、長距離依存モデリングのために参照フレームの各パッチに最も依存しているサポートフレームからパッチを検索し、SCFはFGPSが取得したパッチに対して、入力解像度に線形に複雑にフレーム内およびフレーム間フィーチャ融合を実行する。
フレーム間で同様のパッチを一致させることで、動的シーンで大きな動き範囲を持つオブジェクトをアライメントすることができ、効果的にアーティファクトの生成を軽減できる。
さらに、提案したFGPSとSCFは、効率的なプラグインモジュールとして、様々な深いHDRメソッドに統合することができる。
複数のベンチマーク実験により,本手法は定量的かつ定性的に,最先端の性能を達成できることが判明した。
関連論文リスト
- QMambaBSR: Burst Image Super-Resolution with Query State Space Model [55.56075874424194]
バースト超解像度は、複数のバースト低解像度フレームからサブピクセル情報を融合することにより、高画質でよりリッチな細部で高解像度の画像を再構成することを目的としている。
BusrtSRにおいて鍵となる課題は、高周波ノイズ障害を同時に抑制しつつ、ベースフレームの補完的なサブピクセルの詳細を抽出することである。
本稿では,Query State Space Model (QSSM) とAdaptive Up-Sampling Module (AdaUp) を組み合わせた新しいQuery Mamba Burst Super-Resolution (QMambaBSR) ネットワークを紹介する。
論文 参考訳（メタデータ） (2024-08-16T11:15:29Z) - Generating Content for HDR Deghosting from Frequency View [56.103761824603644]
近年の拡散モデル (DM) はHDRイメージング分野に導入されている。
DMは画像全体を推定するために大きなモデルで広範囲の反復を必要とする。
ゴーストフリーHDRイメージングのための低周波数対応拡散(LF-Diff)モデルを提案する。
論文 参考訳（メタデータ） (2024-04-01T01:32:11Z) - HDRTransDC: High Dynamic Range Image Reconstruction with Transformer Deformation Convolution [21.870772317331447]
高ダイナミックレンジ(CAM)画像は、多露光低ダイナミックレンジ(LDR)画像を融合させることで、現実的な細部を持つ人工物のないHDR画像を生成することを目的としている。
融合歪みの除去を目的としたDWFBを提案する。
論文 参考訳（メタデータ） (2024-03-11T15:48:17Z) - LAN-HDR: Luminance-based Alignment Network for High Dynamic Range Video
Reconstruction [20.911738532410766]
本稿では,LDRフレームを特徴空間に整列させ,その特徴をHDRフレームにマージする,エンドツーエンドのHDRビデオ合成フレームワークを提案する。
トレーニングでは、フレーム再構築損失に加えて時間的損失を採用し、時間的一貫性を高め、フリッカリングを低減する。
論文 参考訳（メタデータ） (2023-08-22T01:43:00Z) - Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。
既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。
本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:03:23Z) - A Unified HDR Imaging Method with Pixel and Patch Level [41.14378863436963]
我々はHyNetと呼ばれるハイブリッドHDRデゴーストネットワークを提案し,HDR画像を生成する。
実験により、HyNetは最先端の手法よりも定量的にも質的にも優れており、統一されたテクスチャと色で魅力的なHDR視覚化を実現している。
論文 参考訳（メタデータ） (2023-04-14T06:21:57Z) - Ghost-free High Dynamic Range Imaging via Hybrid CNN-Transformer and
Structure Tensor [12.167049432063132]
本稿では,ゴーストフリーなHDR画像を生成するために,畳み込みエンコーダとトランスフォーマーデコーダを組み合わせたハイブリッドモデルを提案する。
エンコーダでは、マルチスケール機能を最適化するために、コンテキスト集約ネットワークと非ローカルアテンションブロックが採用されている。
Swin Transformer に基づくデコーダを用いて,提案モデルの再構成性能を向上させる。
論文 参考訳（メタデータ） (2022-12-01T15:43:32Z) - Deep Progressive Feature Aggregation Network for High Dynamic Range
Imaging [24.94466716276423]
本研究では,動的シーンにおけるHDR画像の画質向上のための高度な特徴集約ネットワークを提案する。
提案手法は,高対応特徴を暗黙的にサンプリングし,それらを粗い方法で集約してアライメントする。
実験の結果,提案手法は異なるシーン下での最先端性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2022-08-04T04:37:35Z) - Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。
本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。
低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
論文 参考訳（メタデータ） (2021-08-03T12:26:33Z) - ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。
提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
論文 参考訳（メタデータ） (2021-03-07T04:33:13Z) - Deep Burst Super-Resolution [165.90445859851448]
バースト超解像タスクのための新しいアーキテクチャを提案する。
我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。
実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
論文 参考訳（メタデータ） (2021-01-26T18:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。