論文の概要: Rethinking LayerNorm in Image Restoration Transformers

• arxiv url: http://arxiv.org/abs/2504.06629v1
• Date: Wed, 09 Apr 2025 07:06:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 20:54:41.318948
• Title: Rethinking LayerNorm in Image Restoration Transformers
• Title（参考訳）: 画像復元変換器におけるレイヤノームの再考
• Authors: MinKyu Lee, Sangeek Hyun, Woojin Jun, Hyunjun Kim, Jiwoo Chung, Jae-Pil Heo,
• Abstract要約: 本研究では、画像復元(IR)変換器で観察される異常な特徴挙動について検討する。 機能エントロピーは過度に小さくなり、機能の大きさは最大100万倍になる。 IR変換器に適した単純な正規化戦略を提案する。
• 参考スコア（独自算出の注目度）: 20.67671141789497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work investigates abnormal feature behaviors observed in image restoration (IR) Transformers. Specifically, we identify two critical issues: feature entropy becoming excessively small and feature magnitudes diverging up to a million-fold scale. We pinpoint the root cause to the per-token normalization aspect of conventional LayerNorm, which disrupts essential spatial correlations and internal feature statistics. To address this, we propose a simple normalization strategy tailored for IR Transformers. Our approach applies normalization across the entire spatio-channel dimension, effectively preserving spatial correlations. Additionally, we introduce an input-adaptive rescaling method that aligns feature statistics to the unique statistical requirements of each input. Experimental results verify that this combined strategy effectively resolves feature divergence, significantly enhancing both the stability and performance of IR Transformers across various IR tasks.
• Abstract（参考訳）: 本研究では、画像復元(IR)変換器で観察される異常な特徴挙動について検討する。 具体的には、機能エントロピーが過度に小さくなり、機能の大きさが100万倍に拡大する、という2つの重要な問題を特定します。 本研究は,本質的な空間相関と内部特徴統計を乱す従来のLayerNormのトーケン正規化の側面に根本原因を向ける。 そこで本研究では、IRトランスフォーマーに適した単純な正規化戦略を提案する。 提案手法は空間相関を効果的に保存し, 全チャネル次元にわたって正規化を適用する。 さらに,各入力のユニークな統計的要求に特徴統計を一致させる入力適応型再スケーリング手法を提案する。 実験により, この組み合わせが特徴分散を効果的に解決し, 各種IRタスクにおけるIR変換器の安定性と性能を著しく向上することを確認した。

関連論文リスト

• Transformer Meets Twicing: Harnessing Unattended Residual Information [2.1605931466490795]
  トランスフォーマーベースのディープラーニングモデルは、多くの言語やビジョンタスクで最先端のパフォーマンスを達成した。 自己注意機構は複雑なデータパターンを扱えることが証明されているが、注意行列の表現能力はトランスフォーマー層間で著しく低下する。 本研究では,NLM平滑化の低パス動作を軽減するため,非パラメトリック回帰におけるカーネルツイシング手順を用いた新しいアテンション機構であるTwicing Attentionを提案する。
  論文  参考訳（メタデータ） (2025-03-02T01:56:35Z)
• DINT Transformer [5.990713912057883]
  DIFF変換器は、微分アテンション機構を導入することにより、無関係なコンテキスト干渉の問題に対処する。 差動積分機構を組み込んでDIFF変換器を拡張するDINT変換器を提案する。
  論文  参考訳（メタデータ） (2025-01-29T08:53:29Z)
• Sharing Key Semantics in Transformer Makes Efficient Image Restoration [148.22790334216117]
  視覚変換器(ViT)の基盤となる自己注意機構は、すべてのグローバルな手がかりを包含する傾向がある。 劣化した画像の小さな部分、特にセマンティックに密に整合した部分では、回復プロセスを支援するために特に関連する情報を提供する。 本稿では, IR(e, SemanIR) 用の Transformer を通じて鍵セマンティクスを共有することで, IR の性能向上を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:45:34Z)
• Learning Exhaustive Correlation for Spectral Super-Resolution: Where Spatial-Spectral Attention Meets Linear Dependence [26.1694389791047]
  スペクトル超解像は、容易に取得可能なRGB画像からハイパースペクトル像(HSI)を復元することを目的としている。 既存のTransformerのボトルネックは2種類あり、パフォーマンスの改善と実用性に制限がある。 スペクトル超解像のための新しい Exhaustive correlation Transformer (ECT) を提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:30:07Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Image Deblurring by Exploring In-depth Properties of Transformer [86.7039249037193]
  我々は、事前訓練された視覚変換器(ViT)から抽出した深い特徴を活用し、定量的な測定値によって測定された性能を犠牲にすることなく、回復した画像のシャープ化を促進する。 得られた画像と対象画像の変換器特徴を比較することにより、事前学習された変換器は、高解像度のぼやけた意味情報を提供する。 特徴をベクトルとみなし、抽出された画像から抽出された表現とユークリッド空間における対象表現との差を計算する。
  論文  参考訳（メタデータ） (2023-03-24T14:14:25Z)
• Exploring Invariant Representation for Visible-Infrared Person Re-Identification [77.06940947765406]
  異なるスペクトルを横断する歩行者にアイデンティティを関連付けることを目的とした、クロススペクトルの人物再識別は、モダリティの相違の主な課題に直面している。 本稿では、ロバスト機能マイニングネットワーク(RFM)と呼ばれるエンドツーエンドのハイブリッド学習フレームワークにおいて、画像レベルと特徴レベルの両方の問題に対処する。 RegDBとSYSU-MM01という2つの標準的なクロススペクトル人物識別データセットの実験結果により,最先端の性能が示された。
  論文  参考訳（メタデータ） (2023-02-02T05:24:50Z)
• Score-based Causal Representation Learning with Interventions [54.735484409244386]
  本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。 目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
  論文  参考訳（メタデータ） (2023-01-19T18:39:48Z)
• Large-scale Global Low-rank Optimization for Computational Compressed Imaging [8.594666859332124]
  本稿では,グローバルな自己相似性と高効率な大規模再構成を実現するグローバル低ランク(GLR)最適化手法を提案する。 深層学習における自己認識機構に触発されたGLRは、従来の一様選択の代わりに特徴検出によって画像パッチを抽出する。 時間・周波数・スペクトル次元におけるGLRの有効性を実験的に実証した。
  論文  参考訳（メタデータ） (2023-01-08T14:12:51Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Learning High-Precision Bounding Box for Rotated Object Detection via Kullback-Leibler Divergence [100.6913091147422]
  既存の回転物体検出器は、主に水平検出パラダイムから受け継がれている。 本稿では,回転回帰損失の設計を帰納パラダイムから導出手法に変更することを目的としている。
  論文  参考訳（メタデータ） (2021-06-03T14:29:19Z)
• Multivariate Functional Regression via Nested Reduced-Rank Regularization [2.730097437607271]
  多変量関数応答と予測器を備えた回帰モデルに適用するネスト型低ランク回帰(NRRR)手法を提案する。 非漸近解析により、NRRRは少なくとも低ランク回帰と同等の誤差率を達成できることを示す。 NRRRを電力需要問題に適用し、日中電力消費の軌跡と日中電力消費の軌跡を関連づける。
  論文  参考訳（メタデータ） (2020-03-10T14:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。