論文の概要: Ghost-free High Dynamic Range Imaging with Context-aware Transformer

• arxiv url: http://arxiv.org/abs/2208.05114v1
• Date: Wed, 10 Aug 2022 03:00:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-11 12:55:10.721445
• Title: Ghost-free High Dynamic Range Imaging with Context-aware Transformer
• Title（参考訳）: コンテクスト対応トランスを用いたゴーストフリー高ダイナミックレンジイメージング
• Authors: Zhen Liu, Yinglong Wang, Bing Zeng, Shuaicheng Liu
• Abstract要約: ゴーストフリー高ダイナミックレンジイメージングのための新しいコンテキスト認識型視覚変換器(CA-ViT)を提案する。 CA-ViTはデュアルブランチアーキテクチャとして設計されており、グローバルとローカルの両方の依存関係を共同でキャプチャすることができる。 基本成分としてCA-ViTを組み込むことにより,高品質なゴーストフリーHDR画像を再構成する階層ネットワークであるHDR-Transformerをさらに構築する。
• 参考スコア（独自算出の注目度）: 45.255802070953266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High dynamic range (HDR) deghosting algorithms aim to generate ghost-free HDR images with realistic details. Restricted by the locality of the receptive field, existing CNN-based methods are typically prone to producing ghosting artifacts and intensity distortions in the presence of large motion and severe saturation. In this paper, we propose a novel Context-Aware Vision Transformer (CA-ViT) for ghost-free high dynamic range imaging. The CA-ViT is designed as a dual-branch architecture, which can jointly capture both global and local dependencies. Specifically, the global branch employs a window-based Transformer encoder to model long-range object movements and intensity variations to solve ghosting. For the local branch, we design a local context extractor (LCE) to capture short-range image features and use the channel attention mechanism to select informative local details across the extracted features to complement the global branch. By incorporating the CA-ViT as basic components, we further build the HDR-Transformer, a hierarchical network to reconstruct high-quality ghost-free HDR images. Extensive experiments on three benchmark datasets show that our approach outperforms state-of-the-art methods qualitatively and quantitatively with considerably reduced computational budgets. Codes are available at https://github.com/megvii-research/HDR-Transformer
• Abstract（参考訳）: 高ダイナミックレンジ(HDR)デゴーストアルゴリズムは、ゴーストフリーのHDR画像を現実的な詳細で生成することを目的としている。 受容野の局所性によって制限され、既存のCNNベースの手法は、大きな動きと激しい飽和の存在下でゴーストのアーチファクトや強度の歪みを生み出す傾向にある。 本稿では,ゴーストフリー高ダイナミックレンジイメージングのための新しいコンテキスト認識型視覚変換器(CA-ViT)を提案する。 ca-vitはデュアルブランチアーキテクチャとして設計されており、共同でグローバルとローカルの両方の依存関係をキャプチャできる。 具体的には、ウィンドウベースのTransformerエンコーダを使用して、長距離物体の動きと強度の変化をモデル化し、ゴーストを解く。 ローカルブランチでは、短距離画像の特徴をキャプチャするローカルコンテキスト抽出器(LCE)を設計し、チャネルアテンション機構を用いて、抽出した特徴をまたいだ情報的ローカル詳細を選択することにより、グローバルブランチを補完する。 基本成分としてCA-ViTを組み込むことにより,高品質なゴーストフリーHDR画像を再構成する階層ネットワークであるHDR-Transformerをさらに構築する。 3つのベンチマークデータセットの大規模な実験により、我々の手法は定性的に定量的に計算予算を大幅に削減し、最先端の手法よりも優れていることが示された。 コードはhttps://github.com/megvii-research/HDR-Transformerで入手できる。

関連論文リスト

• TransY-Net:Learning Fully Transformer Networks for Change Detection of Remote Sensing Images [64.63004710817239]
  リモートセンシング画像CDのためのトランスフォーマーベース学習フレームワークTransY-Netを提案する。 グローバルな視点からの特徴抽出を改善し、ピラミッド方式で多段階の視覚的特徴を組み合わせる。 提案手法は,4つの光学式および2つのSAR画像CDベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-10-22T07:42:19Z)
• IFT: Image Fusion Transformer for Ghost-free High Dynamic Range Imaging [26.127764855477782]
  マルチフレームハイダイナミックレンジ(HDR)画像は、コンテンツ補完的ではあるが空間的に不一致な低ダイナミックレンジ(LDR)画像から、ゴーストフリー画像の写実的詳細を再構成することを目的としている。 既存のHDRアルゴリズムは、ダイナミックなシーンで大きな動きを持つLDRフレーム間の長距離依存関係をキャプチャできないため、ゴーストアーティファクトを生成する傾向にある。 我々は,高速グローバルパッチ探索(FGPS)モジュールと,ゴーストフリーHDRイメージングのためのセルフクロスフュージョンモジュール(SCF)を併用した新しい画像融合トランスフォーマ(IFT)を提案する。
  論文  参考訳（メタデータ） (2023-09-26T15:38:52Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• A Unified HDR Imaging Method with Pixel and Patch Level [41.14378863436963]
  我々はHyNetと呼ばれるハイブリッドHDRデゴーストネットワークを提案し,HDR画像を生成する。 実験により、HyNetは最先端の手法よりも定量的にも質的にも優れており、統一されたテクスチャと色で魅力的なHDR視覚化を実現している。
  論文  参考訳（メタデータ） (2023-04-14T06:21:57Z)
• High Dynamic Range Imaging with Context-aware Transformer [3.1892103878735454]
  ゴーストフリー画像のための新しい階層型デュアルトランス (HDT) 手法を提案する。 まず、空間的注意機構を備えたCNNベースのヘッドを用いて、すべてのLDR画像から特徴を抽出する。 第二に、LDR機能はTransformerに配信され、局所的な詳細はチャネルアテンション機構を用いて抽出される。
  論文  参考訳（メタデータ） (2023-04-10T06:56:01Z)
• DLGSANet: Lightweight Dynamic Local and Global Self-Attention Networks for Image Super-Resolution [83.47467223117361]
  画像の超解像化に有効な軽量な動的局所・大域自己アテンションネットワーク(DLGSANet)を提案する。 トランスフォーマーのネットワーク設計により,ローカル特徴を効率的に抽出するシンプルなマルチヘッド動的自己アテンション(MHDLSA)モジュールを開発した。 この問題を解決するために,最も有用な類似値を選択するために,スパースグローバル自己アテンション(SparseGSA)モジュールを開発した。
  論文  参考訳（メタデータ） (2023-01-05T12:06:47Z)
• Ghost-free High Dynamic Range Imaging via Hybrid CNN-Transformer and Structure Tensor [12.167049432063132]
  本稿では,ゴーストフリーなHDR画像を生成するために,畳み込みエンコーダとトランスフォーマーデコーダを組み合わせたハイブリッドモデルを提案する。 エンコーダでは、マルチスケール機能を最適化するために、コンテキスト集約ネットワークと非ローカルアテンションブロックが採用されている。 Swin Transformer に基づくデコーダを用いて,提案モデルの再構成性能を向上させる。
  論文  参考訳（メタデータ） (2022-12-01T15:43:32Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
  光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。 本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。 低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
  論文  参考訳（メタデータ） (2021-08-03T12:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。