論文の概要: Mansformer: Efficient Transformer of Mixed Attention for Image Deblurring and Beyond

• arxiv url: http://arxiv.org/abs/2404.06135v1
• Date: Tue, 9 Apr 2024 09:02:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 15:19:37.107810
• Title: Mansformer: Efficient Transformer of Mixed Attention for Image Deblurring and Beyond
• Title（参考訳）: マンスフォーマー:画像の劣化と超過に対する混合注意の効率的な変換器
• Authors: Pin-Hung Kuo, Jinshan Pan, Shao-Yi Chien, Ming-Hsuan Yang,
• Abstract要約: マンスフォーマー(Mansformer)は、複数の自己注意、ゲート、多層知覚を組み合わせた混合注意変換器である。 画像の劣化が主なターゲットであり, 定量的, 質的な評価により, この手法は最先端の手法に対して良好に機能することが示された。
• 参考スコア（独自算出の注目度）: 87.07963453448328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer has made an enormous success in natural language processing and high-level vision over the past few years. However, the complexity of self-attention is quadratic to the image size, which makes it infeasible for high-resolution vision tasks. In this paper, we propose the Mansformer, a Transformer of mixed attention that combines multiple self-attentions, gate, and multi-layer perceptions (MLPs), to explore and employ more possibilities of self-attention. Taking efficiency into account, we design four kinds of self-attention, whose complexities are all linear. By elaborate adjustment of the tensor shapes and dimensions for the dot product, we split the typical self-attention of quadratic complexity into four operations of linear complexity. To adaptively merge these different kinds of self-attention, we take advantage of an architecture similar to Squeeze-and-Excitation Networks. Furthermore, we make it to merge the two-staged Transformer design into one stage by the proposed gated-dconv MLP. Image deblurring is our main target, while extensive quantitative and qualitative evaluations show that this method performs favorably against the state-of-the-art methods far more than simply deblurring. The source codes and trained models will be made available to the public.
• Abstract（参考訳）: Transformerはここ数年、自然言語処理とハイレベルなビジョンで大きな成功を収めてきた。 しかし、自己注意の複雑さは画像サイズに二次的であるため、高解像度の視覚タスクでは実現不可能である。 本稿では,マルチアテンション,ゲート,多層認識(MLP)を組み合わせた混合注意変換器Mansformerを提案する。 効率を考慮すると、複雑度はすべて線形である4種類の自己注意を設計する。 点積のテンソル形状と次元を精巧に調整することにより、2次複雑性の典型的な自己アテンションを線形複雑性の4つの演算に分割する。 これらの種類の自己注意を適応的にマージするには、Squeeze-and-Excitation Networksのようなアーキテクチャを利用する。 さらに,2段トランスフォーマー設計を1段にマージする。 画像のデブロアリングが主なターゲットであり,定量的および定性的な評価により,この手法は単にデブロアリングよりもむしろ最先端の手法に対して好適に機能することが示された。 ソースコードとトレーニングされたモデルが一般公開される予定だ。

関連論文リスト

• Image Anything: Towards Reasoning-coherent and Training-free Multi-modal Image Generation [9.573188010530217]
  ImgAnyは、人間の推論を模倣し高品質な画像を生成する、新しいエンドツーエンドのマルチモーダル生成モデルである。 本手法は, 7つのモダリティの組み合わせを効率よく, 柔軟に行うための最初の試みである。
  論文  参考訳（メタデータ） (2024-01-31T08:35:40Z)
• PanFormer: a Transformer Based Model for Pan-sharpening [49.45405879193866]
  パンシャーピングは、低分解能(LR)マルチスペクトル(MS)画像とそれに対応するパンクロマチック(PAN)画像から高分解能(HR)マルチスペクトル(MS)画像を作成することを目的としている。 近年の深層学習コミュニティにおける新しいファッションに触発されて,パンシャーピングのための新しいトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-06T09:22:20Z)
• Shunted Self-Attention via Multi-Scale Token Aggregation [124.16925784748601]
  最近のビジョン変換器(ViT)モデルは、様々なコンピュータビジョンタスクにまたがる励振結果を実証している。 注意層ごとのハイブリッドスケールでの注意をViTsでモデル化するShunted Self-attention(SSA)を提案する。 SSAベースの変換器は84.0%のTop-1精度を実現し、ImageNetの最先端のFocal Transformerより優れている。
  論文  参考訳（メタデータ） (2021-11-30T08:08:47Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)
• ResT: An Efficient Transformer for Visual Recognition [5.807423409327807]
  本稿では、画像認識のための汎用バックボーンとして機能する、ResTと呼ばれる効率的なマルチスケール視覚変換器を提案する。 提案したResTは、最近の最先端のバックボーンよりも大きなマージンで、ResTの強力なバックボーンとしての可能性を示している。
  論文  参考訳（メタデータ） (2021-05-28T08:53:54Z)
• Multiscale Vision Transformers [79.76412415996892]
  本稿では,マルチスケール特徴階層をトランスフォーマモデルに結びつけることで,映像・画像認識のためのマルチスケールビジョントランス (MViT) を提案する。 我々は,視覚信号の密集性を様々な映像認識タスクでモデル化するために,この基本アーキテクチャの事前評価を行う。
  論文  参考訳（メタデータ） (2021-04-22T17:59:45Z)
• CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification [17.709880544501758]
  異なるサイズの画像パッチを組み合わせて、より強力な画像特徴を生成するデュアルブランチトランスを提案します。 我々のアプローチは、異なる計算複雑性の2つの別々の分岐を持つ小さなパッチトークンと大きなパッチトークンを処理します。 私たちの提案するクロスアテンションは、計算とメモリの複雑さの両方に線形時間しか必要としない。
  論文  参考訳（メタデータ） (2021-03-27T13:03:17Z)
• Transformers in Vision: A Survey [101.07348618962111]
  トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。 変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。 本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2021-01-04T18:57:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。