論文の概要: High Dynamic Range Imaging with Context-aware Transformer
- arxiv url: http://arxiv.org/abs/2304.04416v3
- Date: Mon, 17 Apr 2023 02:33:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 11:37:28.974605
- Title: High Dynamic Range Imaging with Context-aware Transformer
- Title（参考訳）: コンテクスト対応変圧器を用いた高ダイナミックレンジイメージング
- Authors: Fangfang Zhou, Dan Zhang and Zhenming Fu
- Abstract要約: ゴーストフリー画像のための新しい階層型デュアルトランス (HDT) 手法を提案する。
まず、空間的注意機構を備えたCNNベースのヘッドを用いて、すべてのLDR画像から特徴を抽出する。
第二に、LDR機能はTransformerに配信され、局所的な詳細はチャネルアテンション機構を用いて抽出される。
- 参考スコア（独自算出の注目度）: 3.1892103878735454
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Avoiding the introduction of ghosts when synthesising LDR images as high
dynamic range (HDR) images is a challenging task. Convolutional neural networks
(CNNs) are effective for HDR ghost removal in general, but are challenging to
deal with the LDR images if there are large movements or
oversaturation/undersaturation. Existing dual-branch methods combining CNN and
Transformer omit part of the information from non-reference images, while the
features extracted by the CNN-based branch are bound to the kernel size with
small receptive field, which are detrimental to the deblurring and the recovery
of oversaturated/undersaturated regions. In this paper, we propose a novel
hierarchical dual Transformer method for ghost-free HDR (HDT-HDR) images
generation, which extracts global features and local features simultaneously.
First, we use a CNN-based head with spatial attention mechanisms to extract
features from all the LDR images. Second, the LDR features are delivered to the
Hierarchical Dual Transformer (HDT). In each Dual Transformer (DT), the global
features are extracted by the window-based Transformer, while the local details
are extracted using the channel attention mechanism with deformable CNNs.
Finally, the ghost free HDR image is obtained by dimensional mapping on the HDT
output. Abundant experiments demonstrate that our HDT-HDR achieves the
state-of-the-art performance among existing HDR ghost removal methods.
- Abstract（参考訳）: 高ダイナミックレンジ(HDR)画像としてLDR画像を合成する際のゴーストの導入を避けることが課題である。
畳み込みニューラルネットワーク(CNN)は、一般的にHDRゴースト除去に有効であるが、大きな動きや過飽和/下降がある場合、LDR画像に対処することは困難である。
CNNとTransformerを組み合わせた既存のデュアルブランチ方式では、非参照画像から情報の一部を省略する一方、CNNベースのブランチによって抽出された特徴は、劣化と過飽和/過飽和領域の回復に寄与する小さな受容野でカーネルサイズに結合する。
本稿では,グローバル特徴と局所特徴を同時に抽出する,ゴーストフリーhdr(hdt-hdr)画像生成のための階層的二重変換手法を提案する。
まず、空間的注意機構を備えたcnnベースの頭部を用いて、全てのldr画像から特徴を抽出する。
第2に、LDR機能は階層デュアルトランス(HDT)に配信される。
各Dual Transformer(DT)では、グローバルな特徴をウィンドウベースのTransformerによって抽出し、局所的な詳細を変形可能なCNNを用いてチャネルアテンション機構を用いて抽出する。
そして、HDT出力の次元マッピングによりゴーストフリーHDR画像を得る。
既存のHDRゴースト除去法において,HDT-HDRは最先端の性能を発揮することを示した。
関連論文リスト
- FastHDRNet: A new efficient method for SDR-to-HDR Translation [5.224011800476952]
我々は「FastNet」と呼ばれるSDRからHDRへの変換のためのニューラルネットワークを提案する。
このアーキテクチャは、グローバル統計とローカル情報を超高効率で利用する軽量ネットワークとして設計されている。
論文 参考訳（メタデータ） (2024-04-06T03:25:24Z) - Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。
DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。
拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
論文 参考訳（メタデータ） (2023-11-02T01:53:55Z) - Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in
Dynamic Scenes [58.66427721308464]
Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。
Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-10-03T07:10:49Z) - A Unified HDR Imaging Method with Pixel and Patch Level [41.14378863436963]
我々はHyNetと呼ばれるハイブリッドHDRデゴーストネットワークを提案し,HDR画像を生成する。
実験により、HyNetは最先端の手法よりも定量的にも質的にも優れており、統一されたテクスチャと色で魅力的なHDR視覚化を実現している。
論文 参考訳（メタデータ） (2023-04-14T06:21:57Z) - SMAE: Few-shot Learning for HDR Deghosting with Saturation-Aware Masked
Autoencoders [97.64072440883392]
そこで本研究では,SSHDRと呼ばれる2段階の訓練を通した短距離HDRイメージングを実現するための,新しい半教師付きアプローチを提案する。
以前の方法とは異なり、コンテンツを直接回復し、ゴーストを同時に除去することは、最適に達成することが難しい。
実験により、SSHDRは異なるデータセットの内外における定量的かつ定性的に最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-04-14T03:42:51Z) - Ghost-free High Dynamic Range Imaging via Hybrid CNN-Transformer and
Structure Tensor [12.167049432063132]
本稿では,ゴーストフリーなHDR画像を生成するために,畳み込みエンコーダとトランスフォーマーデコーダを組み合わせたハイブリッドモデルを提案する。
エンコーダでは、マルチスケール機能を最適化するために、コンテキスト集約ネットワークと非ローカルアテンションブロックが採用されている。
Swin Transformer に基づくデコーダを用いて,提案モデルの再構成性能を向上させる。
論文 参考訳（メタデータ） (2022-12-01T15:43:32Z) - Ghost-free High Dynamic Range Imaging with Context-aware Transformer [45.255802070953266]
ゴーストフリー高ダイナミックレンジイメージングのための新しいコンテキスト認識型視覚変換器(CA-ViT)を提案する。
CA-ViTはデュアルブランチアーキテクチャとして設計されており、グローバルとローカルの両方の依存関係を共同でキャプチャすることができる。
基本成分としてCA-ViTを組み込むことにより,高品質なゴーストフリーHDR画像を再構成する階層ネットワークであるHDR-Transformerをさらに構築する。
論文 参考訳（メタデータ） (2022-08-10T03:00:10Z) - A Two-stage Deep Network for High Dynamic Range Image Reconstruction [0.883717274344425]
本研究では,新しい2段階深層ネットワークを提案することにより,シングルショットLDRからHDRマッピングへの課題に取り組む。
提案手法は,カメラ応答機能(CRF)や露光設定など,ハードウェア情報を知ることなくHDR画像の再構築を図ることを目的とする。
論文 参考訳（メタデータ） (2021-04-19T15:19:17Z) - HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with
Large Motions [62.44802076971331]
マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。
本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
論文 参考訳（メタデータ） (2020-07-03T11:42:35Z) - Single-Image HDR Reconstruction by Learning to Reverse the Camera
Pipeline [100.5353614588565]
本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。
我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。
提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
論文 参考訳（メタデータ） (2020-04-02T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。