論文の概要: Burstormer: Burst Image Restoration and Enhancement Transformer

• arxiv url: http://arxiv.org/abs/2304.01194v1
• Date: Mon, 3 Apr 2023 17:58:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 14:06:21.600879
• Title: Burstormer: Burst Image Restoration and Enhancement Transformer
• Title（参考訳）: Burstormer:バーストイメージ復元と強化トランスフォーマー
• Authors: Akshay Dudhane, Syed Waqas Zamir, Salman Khan, Fahad Shahbaz Khan, Ming-Hsuan Yang
• Abstract要約: シャッタープレスでは、現代のハンドヘルドカメラが高速に複数の画像をキャプチャし、それらをマージして単一の画像を生成する。 課題は、連続したイメージショットを適切に調整し、その補完的な情報をマージして高品質な出力を達成することである。 バーストラー(Burstormer)はバースト画像の復元と拡張のためのトランスフォーマーをベースとした新しいアーキテクチャである。
• 参考スコア（独自算出の注目度）: 117.56199661345993
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On a shutter press, modern handheld cameras capture multiple images in rapid succession and merge them to generate a single image. However, individual frames in a burst are misaligned due to inevitable motions and contain multiple degradations. The challenge is to properly align the successive image shots and merge their complimentary information to achieve high-quality outputs. Towards this direction, we propose Burstormer: a novel transformer-based architecture for burst image restoration and enhancement. In comparison to existing works, our approach exploits multi-scale local and non-local features to achieve improved alignment and feature fusion. Our key idea is to enable inter-frame communication in the burst neighborhoods for information aggregation and progressive fusion while modeling the burst-wide context. However, the input burst frames need to be properly aligned before fusing their information. Therefore, we propose an enhanced deformable alignment module for aligning burst features with regards to the reference frame. Unlike existing methods, the proposed alignment module not only aligns burst features but also exchanges feature information and maintains focused communication with the reference frame through the proposed reference-based feature enrichment mechanism, which facilitates handling complex motions. After multi-level alignment and enrichment, we re-emphasize on inter-frame communication within burst using a cyclic burst sampling module. Finally, the inter-frame information is aggregated using the proposed burst feature fusion module followed by progressive upsampling. Our Burstormer outperforms state-of-the-art methods on burst super-resolution, burst denoising and burst low-light enhancement. Our codes and pretrained models are available at https:// github.com/akshaydudhane16/Burstormer
• Abstract（参考訳）: シャッタープレスでは、現代のハンドヘルドカメラが高速に複数の画像をキャプチャし、それらをマージして単一の画像を生成する。 しかし、バースト内の個々のフレームは避けられない動きのために不整列であり、複数の劣化を含む。 課題は、連続した画像を適切に調整し、その補完的な情報をマージして高品質な出力を達成することである。 本稿では,バースト画像の復元と拡張のための新しいトランスフォーマーアーキテクチャであるburstormerを提案する。 既存の手法と比較して,マルチスケールの局所的特徴と非局所的特徴を活用し,アライメントと機能融合の改善を図る。 私たちのキーとなるアイデアは、バーストワイドコンテキストをモデル化しながら、情報集約とプログレッシブフュージョンのためのバースト地区でのフレーム間通信を可能にすることです。 しかし、入力バーストフレームは、情報を融合する前に適切に整列する必要がある。 そこで本論文では,バースト特徴を参照フレームにアライメントするための拡張変形可能なアライメントモジュールを提案する。 既存の手法と異なり,提案するアライメントモジュールはバースト特徴の整列だけでなく,複雑な動きの処理を容易にする参照ベース機能拡張機構を通じて,特徴情報を交換し,参照フレームとの集中的なコミュニケーションを維持する。 マルチレベルアライメントおよびエンリッチメントの後、循環バーストサンプリングモジュールを用いてバースト内のフレーム間通信を再強調する。 最後に、提案したバースト機能融合モジュールを用いてフレーム間情報を集約し、さらにプログレッシブアップサンプリングを行う。 私たちのBurstormerは、バースト超解像、バーストデノイング、バースト低照度向上の最先端手法よりも優れています。 私たちのコードと事前訓練済みモデルはhttps:// github.com/akshaydudhane16/Burstormerで利用可能です。

関連論文リスト

• Aggregating Long-term Sharp Features via Hybrid Transformers for Video Deblurring [76.54162653678871]
  本稿では,特徴集約のためのハイブリッドトランスフォーマーを用いて,隣接するフレームとシャープフレームの両方を活用するビデオデブロアリング手法を提案する。 提案手法は,定量的な計測値と視覚的品質の観点から,最先端のビデオデブロアリング法,およびイベント駆動ビデオデブロアリング法より優れる。
  論文  参考訳（メタデータ） (2023-09-13T16:12:11Z)
• Gated Multi-Resolution Transfer Network for Burst Restoration and Enhancement [75.25451566988565]
  低画質の原画像のバーストから空間的精度の高い高画質画像を再構成する新しいGated Multi-Resolution Transfer Network (GMTNet)を提案する。 5つのデータセットに関する詳細な実験分析は、我々のアプローチを検証し、バースト超解像、バーストデノイング、低照度バーストエンハンスメントのための最先端技術を設定する。
  論文  参考訳（メタデータ） (2023-04-13T17:54:00Z)
• Burst Image Restoration and Enhancement [86.08546447144377]
  バースト画像復元の目標は、複数のバーストフレームに補完的なキューを効果的に組み合わせ、高品質な出力を生成することである。 入力されたすべてのバーストフレームから補足情報を組み合わせてシームレスに情報を交換する,Emphpseudo-Burst機能セットを作成する。 提案手法は, バースト超解像および低照度画像強調タスクにおける技術性能の状況を示す。
  論文  参考訳（メタデータ） (2021-10-07T17:58:56Z)
• ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
  ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。 特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。 提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-03-07T04:33:13Z)
• Deep Burst Super-Resolution [165.90445859851448]
  バースト超解像タスクのための新しいアーキテクチャを提案する。 我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。 実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
  論文  参考訳（メタデータ） (2021-01-26T18:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。