論文の概要: Restoring Images in Adverse Weather Conditions via Histogram Transformer

• arxiv url: http://arxiv.org/abs/2407.10172v1
• Date: Sun, 14 Jul 2024 11:59:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 19:09:07.227131
• Title: Restoring Images in Adverse Weather Conditions via Histogram Transformer
• Title（参考訳）: ヒストグラム変換器による逆気象条件の復元
• Authors: Shangquan Sun, Wenqi Ren, Xinwei Gao, Rui Wang, Xiaochun Cao,
• Abstract要約: 悪天候による画像の復元に有効なヒストグラム変換器(Histoformer)を提案する。 これはヒストグラム自己アテンション( histogram self-attention)と呼ばれるメカニズムで、空間的特徴を強度ベースのビンに分類し、セグメント化する。 ヒストグラムの自己アテンションを高めるために,従来のコンボリューションが類似画素上で動作できるようにするダイナミックレンジ・コンボリューションを提案する。
• 参考スコア（独自算出の注目度）: 75.74328579778049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based image restoration methods in adverse weather have achieved significant progress. Most of them use self-attention along the channel dimension or within spatially fixed-range blocks to reduce computational load. However, such a compromise results in limitations in capturing long-range spatial features. Inspired by the observation that the weather-induced degradation factors mainly cause similar occlusion and brightness, in this work, we propose an efficient Histogram Transformer (Histoformer) for restoring images affected by adverse weather. It is powered by a mechanism dubbed histogram self-attention, which sorts and segments spatial features into intensity-based bins. Self-attention is then applied across bins or within each bin to selectively focus on spatial features of dynamic range and process similar degraded pixels of the long range together. To boost histogram self-attention, we present a dynamic-range convolution enabling conventional convolution to conduct operation over similar pixels rather than neighbor pixels. We also observe that the common pixel-wise losses neglect linear association and correlation between output and ground-truth. Thus, we propose to leverage the Pearson correlation coefficient as a loss function to enforce the recovered pixels following the identical order as ground-truth. Extensive experiments demonstrate the efficacy and superiority of our proposed method. We have released the codes in Github.
• Abstract（参考訳）: 気象条件下でのトランスフォーマーによる画像復元法は大きな進歩を遂げた。 それらの多くは、計算負荷を減らすためにチャネル次元や空間的に固定されたブロックに沿って自己アテンションを使用する。 しかし、このような妥協は、長距離空間的特徴を捉える際の限界をもたらす。 本研究は, 気象に起因した劣化要因が, 主に類似の閉塞や明るさを引き起こすという観測に触発され, 悪天候による画像の復元に有効なヒストグラム変換器 (Histoformer) を提案する。 これはヒストグラム自己アテンション( histogram self-attention)と呼ばれるメカニズムで、空間的特徴を強度ベースのビンに分類し、セグメント化する。 次に、各ビンまたは各ビンに自己注意を適用して、ダイナミックレンジの空間的特徴に選択的に焦点を合わせ、長い範囲の同様の劣化画素を一緒に処理する。 ヒストグラムの自己アテンションを高めるため,従来のコンボリューションにより,隣接画素ではなく類似画素上での操作が可能となるダイナミックレンジ・コンボリューションを提案する。 また, 共通画素の損失は, 線形関係や, 出力と接地構造との相関を無視する。 そこで本研究では,Pearson相関係数を損失関数として利用して,地上構造と同一の順序で復元された画素を強制する。 実験の結果,提案手法の有効性と優位性を示した。 ソースコードはGithubで公開しています。

関連論文リスト

• Real-World Efficient Blind Motion Deblurring via Blur Pixel Discretization [45.20189929583484]
  我々は,デブロアリング(回帰)タスクを,画素の離散化と離散連続変換タスクに分解する。 具体的には,ぼやけた画素を識別して画像残差誤差を生成し,連続的な形状に変換する。
  論文  参考訳（メタデータ） (2024-04-18T13:22:56Z)
• Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
  本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。 具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。 さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
  論文  参考訳（メタデータ） (2024-03-30T08:05:00Z)
• Image Deblurring by Exploring In-depth Properties of Transformer [86.7039249037193]
  我々は、事前訓練された視覚変換器(ViT)から抽出した深い特徴を活用し、定量的な測定値によって測定された性能を犠牲にすることなく、回復した画像のシャープ化を促進する。 得られた画像と対象画像の変換器特徴を比較することにより、事前学習された変換器は、高解像度のぼやけた意味情報を提供する。 特徴をベクトルとみなし、抽出された画像から抽出された表現とユークリッド空間における対象表現との差を計算する。
  論文  参考訳（メタデータ） (2023-03-24T14:14:25Z)
• Accurate Image Restoration with Attention Retractable Transformer [50.05204240159985]
  画像復元のためのアテンション・リトラクタブル・トランス (ART) を提案する。 ARTはネットワーク内の密集モジュールと疎開モジュールの両方を提示する。 画像超解像、デノナイジング、JPEG圧縮アーティファクト削減タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-04T07:35:01Z)
• Fitting Segmentation Networks on Varying Image Resolutions using Splatting [1.3792537518004493]
  入力データの解像度ミスマッチを自動的に処理するスプレート層を提案する。 splat演算子が再サンプリング演算子の随伴であるので、平均空間予測をネイティブラベル空間に引き戻すことができる。 このモデルは、前処理ステップとして再サンプリングするよりもセグメンテーション結果を改善する。
  論文  参考訳（メタデータ） (2022-06-13T19:53:02Z)
• Unsupervised Foggy Scene Understanding via Self Spatial-Temporal Label Diffusion [51.11295961195151]
  運転シーンの霧画像列の特徴を利用して、自信ある擬似ラベルを密度化する。 局所的な空間的類似性と逐次画像データの隣接時間対応の2つの発見に基づいて,新たなターゲット・ドメイン駆動擬似ラベル拡散方式を提案する。 本手法は,2つの天然霧のデータセット上で51.92%,53.84%の平均交叉結合(mIoU)を達成するのに有効である。
  論文  参考訳（メタデータ） (2022-06-10T05:16:50Z)
• Image Inpainting with Learnable Feature Imputation [8.293345261434943]
  正規畳み込み層は、未知の領域にフィルターを適用するのと同じ方法で、塗装された画像の視覚的アーティファクトを引き起こす。 本稿では,欠落した入力値の畳み込みに対する(階層的な)特徴計算を提案する。 我々はCelebA-HQとPlaces2を比較し,そのモデルを検証する。
  論文  参考訳（メタデータ） (2020-11-02T16:05:32Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。