論文の概要: Wavelet-Based Network For High Dynamic Range Imaging
- arxiv url: http://arxiv.org/abs/2108.01434v1
- Date: Tue, 3 Aug 2021 12:26:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-04 13:53:49.238795
- Title: Wavelet-Based Network For High Dynamic Range Imaging
- Title(参考訳): 高ダイナミックレンジイメージングのためのウェーブレットネットワーク
- Authors: Tianhong Dai, Wei Li, Xilei Cao, Jianzhuang Liu, Xu Jia, Ales
Leonardis, Youliang Yan, Shanxin Yuan
- Abstract要約: 光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。
本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。
低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
- 参考スコア(独自算出の注目度): 51.59214970479924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High dynamic range (HDR) imaging from multiple low dynamic range (LDR) images
has been suffering from ghosting artifacts caused by scene and objects motion.
Existing methods, such as optical flow based and end-to-end deep learning based
solutions, are error-prone either in detail restoration or ghosting artifacts
removal. Comprehensive empirical evidence shows that ghosting artifacts caused
by large foreground motion are mainly low-frequency signals and the details are
mainly high-frequency signals. In this work, we propose a novel
frequency-guided end-to-end deep neural network (FHDRNet) to conduct HDR fusion
in the frequency domain, and Discrete Wavelet Transform (DWT) is used to
decompose inputs into different frequency bands. The low-frequency signals are
used to avoid specific ghosting artifacts, while the high-frequency signals are
used for preserving details. Using a U-Net as the backbone, we propose two
novel modules: merging module and frequency-guided upsampling module. The
merging module applies the attention mechanism to the low-frequency components
to deal with the ghost caused by large foreground motion. The frequency-guided
upsampling module reconstructs details from multiple frequency-specific
components with rich details. In addition, a new RAW dataset is created for
training and evaluating multi-frame HDR imaging algorithms in the RAW domain.
Extensive experiments are conducted on public datasets and our RAW dataset,
showing that the proposed FHDRNet achieves state-of-the-art performance.
- Abstract(参考訳): high dynamic range (hdr) imaging from multiple low dynamic range (ldr) images シーンやオブジェクトの動きによって引き起こされるゴーストアーティファクトに悩まされている。
オプティカルフローベースやエンドツーエンドのディープラーニングベースのソリューションといった既存の手法は、詳細な復元やゴーストアーティファクトの削除といったエラーが発生しやすい。
総合的な実証的証拠は、大きな前景運動によって引き起こされるゴーストアーティファクトが主に低周波信号であり、詳細は主として高周波信号であることを示している。
本研究では、周波数領域でHDR融合を行うための新しい周波数誘導エンドツーエンドディープニューラルネットワーク(FHDRNet)を提案し、離散ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。
低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
U-Netをバックボーンとして用いることで,モジュールのマージと周波数誘導アップサンプリングモジュールの2つの新しいモジュールを提案する。
マージモジュールは、低周波成分にアテンション機構を適用して、大きな前景運動によるゴーストに対処する。
周波数ガイドアップサンプリングモジュールは、複数の周波数固有のコンポーネントから詳細をリッチに再構成する。
さらに、RAW領域におけるマルチフレームHDRイメージングアルゴリズムのトレーニングと評価のために、新しいRAWデータセットを作成する。
公開データセットとRAWデータセットを用いて大規模な実験を行い、提案したFHDRNetが最先端の性能を達成することを示す。
関連論文リスト
- Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳(メタデータ) (2024-03-12T01:28:00Z) - Frequency-Adaptive Pan-Sharpening with Mixture of Experts [22.28680499480492]
パンシャーピングのための新しい周波数適応型エキスパート混合学習フレームワーク(FAME)を提案する。
本手法は他の最先端技術に対して最善を尽くし,現実のシーンに対して強力な一般化能力を有する。
論文 参考訳(メタデータ) (2024-01-04T08:58:25Z) - Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。
DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。
拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
論文 参考訳(メタデータ) (2023-11-02T01:53:55Z) - A Scale-Arbitrary Image Super-Resolution Network Using Frequency-domain
Information [42.55177009667711]
画像超解像(SR)は、低分解能(LR)画像において失われた高周波情報を復元する技術である。
本稿では、周波数領域における画像の特徴を考察し、新しいスケール・アービタリー画像SRネットワークを設計する。
論文 参考訳(メタデータ) (2022-12-08T15:10:49Z) - Ghost-free High Dynamic Range Imaging via Hybrid CNN-Transformer and
Structure Tensor [12.167049432063132]
本稿では,ゴーストフリーなHDR画像を生成するために,畳み込みエンコーダとトランスフォーマーデコーダを組み合わせたハイブリッドモデルを提案する。
エンコーダでは、マルチスケール機能を最適化するために、コンテキスト集約ネットワークと非ローカルアテンションブロックが採用されている。
Swin Transformer に基づくデコーダを用いて,提案モデルの再構成性能を向上させる。
論文 参考訳(メタデータ) (2022-12-01T15:43:32Z) - AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware
Training [100.33713282611448]
我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。
本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。
私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
論文 参考訳(メタデータ) (2022-11-17T17:22:28Z) - Multi-scale frequency separation network for image deblurring [10.511076996096117]
本稿では,マルチスケール周波数分離ネットワーク (MSFS-Net) を用いた画像分解手法を提案する。
MSFS-Netは複数のスケールで画像の低周波・高周波情報をキャプチャする。
ベンチマークデータセットの実験により,提案したネットワークが最先端の性能を達成することが示された。
論文 参考訳(メタデータ) (2022-06-01T23:48:35Z) - Exploring Inter-frequency Guidance of Image for Lightweight Gaussian
Denoising [1.52292571922932]
本稿では,周波数帯域を低域から高域に漸進的に洗練するために,IGNetと呼ばれる新しいネットワークアーキテクチャを提案する。
この設計では、より周波数間先行と情報を利用するため、モデルサイズは軽量化でき、競争結果も維持できる。
論文 参考訳(メタデータ) (2021-12-22T10:35:53Z) - Deep Burst Super-Resolution [165.90445859851448]
バースト超解像タスクのための新しいアーキテクチャを提案する。
我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。
実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
論文 参考訳(メタデータ) (2021-01-26T18:57:21Z) - Wavelet Integrated CNNs for Noise-Robust Image Classification [51.18193090255933]
我々は、離散ウェーブレット変換(DWT)により、最大プール、ストライド畳み込み、平均プールを置き換えることでCNNを強化する。
VGG、ResNets、DenseNetのウェーブレット統合バージョンであるWaveCNetsは、バニラバージョンよりも精度が高く、ノイズ・ロバスト性も向上している。
論文 参考訳(メタデータ) (2020-05-07T09:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。