論文の概要: Efficient Concertormer for Image Deblurring and Beyond

• arxiv url: http://arxiv.org/abs/2404.06135v3
• Date: Wed, 04 Dec 2024 02:48:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 12:41:53.49527
• Title: Efficient Concertormer for Image Deblurring and Beyond
• Title（参考訳）: 画像劣化と超高効率コンストラクタ
• Authors: Pin-Hung Kuo, Jinshan Pan, Shao-Yi Chien, Ming-Hsuan Yang,
• Abstract要約: 本稿では,画像の劣化を抑えるための新しいCSA機構を提案する。 自己アテンション計算とは無関係な余剰次元の部分情報を保持することにより,画像サイズに線形な大域的文脈表現を効果的に取得する。 本研究の主な目的は, 単一像運動の劣化であるが, 定量的, 質的な評価により, 他の課題における最先端の手法に対して, より良好に行動できることが示されている。
• 参考スコア（独自算出の注目度）: 87.07963453448328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Transformer architecture has achieved remarkable success in natural language processing and high-level vision tasks over the past few years. However, the inherent complexity of self-attention is quadratic to the size of the image, leading to unaffordable computational costs for high-resolution vision tasks. In this paper, we introduce Concertormer, featuring a novel Concerto Self-Attention (CSA) mechanism designed for image deblurring. The proposed CSA divides self-attention into two distinct components: one emphasizes generally global and another concentrates on specifically local correspondence. By retaining partial information in additional dimensions independent from the self-attention calculations, our method effectively captures global contextual representations with complexity linear to the image size. To effectively leverage the additional dimensions, we present a Cross-Dimensional Communication module, which linearly combines attention maps and thus enhances expressiveness. Moreover, we amalgamate the two-staged Transformer design into a single stage using the proposed gated-dconv MLP architecture. While our primary objective is single-image motion deblurring, extensive quantitative and qualitative evaluations demonstrate that our approach performs favorably against the state-of-the-art methods in other tasks, such as deraining and deblurring with JPEG artifacts. The source codes and trained models will be made available to the public.
• Abstract（参考訳）: Transformerアーキテクチャは、ここ数年で自然言語処理とハイレベルなビジョンタスクにおいて大きな成功を収めてきた。 しかし、自己注意の本質的にの複雑さは画像のサイズに対して2次的であり、高解像度視覚タスクの計算コストは不必要である。 本稿では,イメージデブロアのための新しいコンチェルト・セルフアテンション(CSA)機構を特徴とするコンチェルトオーマーについて紹介する。 提案されたCSAは、自己意識を2つの異なる構成要素に分割する。 自己アテンション計算とは無関係な余剰次元の部分情報を保持することにより,画像サイズに線形な大域的文脈表現を効果的に取得する。 付加次元を効果的に活用するために,注目マップを線形に結合し,表現性を高めるクロス次元通信モジュールを提案する。 さらに,2段トランスフォーマーの設計を1段に集約し,ゲート-dconv MLPアーキテクチャを提案する。 我々の主な目的は単イメージの動作の劣化であるが、広範に定量的かつ質的な評価は、JPEGアーティファクトによるデアライニングやデアライニングなど、他のタスクにおける最先端の手法に対して、我々のアプローチが好適に機能することを示す。 ソースコードとトレーニングされたモデルが一般公開される予定だ。

関連論文リスト

• Feature Alignment with Equivariant Convolutions for Burst Image Super-Resolution [52.55429225242423]
  本稿では,同変畳み込みに基づくアライメントを特徴とするBurst Image Super-Resolution (BISR) のための新しいフレームワークを提案する。 これにより、アライメント変換は画像領域の明示的な監督を通じて学習でき、特徴領域に容易に適用できる。 BISRベンチマークの実験は、定量的メトリクスと視覚的品質の両方において、我々のアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2025-03-11T11:13:10Z)
• SpotActor: Training-Free Layout-Controlled Consistent Image Generation [43.2870588035256]
  双対セマンティックラテント空間における最適化による二元エネルギー誘導の新しい形式化を提案する。 本研究では,レイアウト条件付き後方更新ステージと一貫した前方サンプリングステージを備えたトレーニングフリーパイプラインSpotActorを提案する。 その結果、SpotActorはこのタスクの期待を達成し、実用的な応用の可能性を示した。
  論文  参考訳（メタデータ） (2024-09-07T11:52:48Z)
• ARNet: Self-Supervised FG-SBIR with Unified Sample Feature Alignment and Multi-Scale Token Recycling [11.129453244307369]
  FG-SBIRは、埋め込み空間におけるスケッチと対応する画像の距離を最小化することを目的としている。 両領域間のギャップを狭める効果的なアプローチを提案する。 主に、イントラサンプルとインターサンプルの両方を共有する統一的な相互情報共有を促進する。
  論文  参考訳（メタデータ） (2024-06-17T13:49:12Z)
• Dual-Image Enhanced CLIP for Zero-Shot Anomaly Detection [58.228940066769596]
  本稿では,統合視覚言語スコアリングシステムを活用したデュアルイメージ強化CLIP手法を提案する。 提案手法は,画像のペアを処理し,それぞれを視覚的参照として利用することにより,視覚的コンテキストによる推論プロセスを強化する。 提案手法は視覚言語による関節異常検出の可能性を大幅に活用し,従来のSOTA法と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-05-08T03:13:20Z)
• IPT-V2: Efficient Image Processing Transformer using Hierarchical Attentions [26.09373405194564]
  我々は,IPTV2と呼ばれる階層的な注意を払って,効率的な画像処理トランスフォーマアーキテクチャを提案する。 我々は、局所的およびグローバルな受容領域における適切なトークン相互作用を得るために、焦点コンテキスト自己注意(FCSA)とグローバルグリッド自己注意(GGSA)を採用する。 提案した IPT-V2 は,様々な画像処理タスクにおいて,デノナイズ,デブロアリング,デコライニングを網羅し,従来の手法よりも性能と計算の複雑さのトレードオフを得る。
  論文  参考訳（メタデータ） (2024-03-31T10:01:20Z)
• Image Anything: Towards Reasoning-coherent and Training-free Multi-modal Image Generation [9.573188010530217]
  ImgAnyは、人間の推論を模倣し高品質な画像を生成する、新しいエンドツーエンドのマルチモーダル生成モデルである。 本手法は, 7つのモダリティの組み合わせを効率よく, 柔軟に行うための最初の試みである。
  論文  参考訳（メタデータ） (2024-01-31T08:35:40Z)
• Cross-Image Attention for Zero-Shot Appearance Transfer [68.43651329067393]
  画像間の意味的対応を暗黙的に確立するクロスイメージアテンション機構を導入する。 ノイズの多い潜在コードを操作する3つのメカニズムと、デノナイジングプロセスを通してモデルの内部表現を利用する。 実験により,本手法は多種多様な対象カテゴリに対して有効であり,形状,大きさ,視点の変動に頑健であることが示された。
  論文  参考訳（メタデータ） (2023-11-06T18:33:24Z)
• DARTS: Double Attention Reference-based Transformer for Super-resolution [12.424350934766704]
  参照ベース画像超解像のための変換器モデルであるDARTSを提案する。 DARSは2つの画像分布の合同表現を学習し、低解像度の入力画像の内容を強化する。 変換器を用いたモデルが最先端のモデルと競合することを示す。
  論文  参考訳（メタデータ） (2023-07-17T20:57:16Z)
• Bi-level Dynamic Learning for Jointly Multi-modality Image Fusion and Beyond [50.556961575275345]
  補完特性とカスケード二重タスク関連モジュールを融合する画像融合モジュールを構築した。 本研究では, 高速な1次近似により対応する勾配を計算し, 融合学習のための勾配のバランスをとるための動的重み付けアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:55:34Z)
• TcGAN: Semantic-Aware and Structure-Preserved GANs with Individual Vision Transformer for Fast Arbitrary One-Shot Image Generation [11.207512995742999]
  画像の内部パッチから学習する生成的敵ネットワークを持つワンショット画像生成(OSG)は、世界中で注目を集めている。 本稿では,既存のワンショット画像生成手法の欠点を克服するために,個々の視覚変換器を用いた構造保存方式TcGANを提案する。
  論文  参考訳（メタデータ） (2023-02-16T03:05:59Z)
• PanFormer: a Transformer Based Model for Pan-sharpening [49.45405879193866]
  パンシャーピングは、低分解能(LR)マルチスペクトル(MS)画像とそれに対応するパンクロマチック(PAN)画像から高分解能(HR)マルチスペクトル(MS)画像を作成することを目的としている。 近年の深層学習コミュニティにおける新しいファッションに触発されて,パンシャーピングのための新しいトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-06T09:22:20Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Shunted Self-Attention via Multi-Scale Token Aggregation [124.16925784748601]
  最近のビジョン変換器(ViT)モデルは、様々なコンピュータビジョンタスクにまたがる励振結果を実証している。 注意層ごとのハイブリッドスケールでの注意をViTsでモデル化するShunted Self-attention(SSA)を提案する。 SSAベースの変換器は84.0%のTop-1精度を実現し、ImageNetの最先端のFocal Transformerより優れている。
  論文  参考訳（メタデータ） (2021-11-30T08:08:47Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)
• ResT: An Efficient Transformer for Visual Recognition [5.807423409327807]
  本稿では、画像認識のための汎用バックボーンとして機能する、ResTと呼ばれる効率的なマルチスケール視覚変換器を提案する。 提案したResTは、最近の最先端のバックボーンよりも大きなマージンで、ResTの強力なバックボーンとしての可能性を示している。
  論文  参考訳（メタデータ） (2021-05-28T08:53:54Z)
• Multiscale Vision Transformers [79.76412415996892]
  本稿では,マルチスケール特徴階層をトランスフォーマモデルに結びつけることで,映像・画像認識のためのマルチスケールビジョントランス (MViT) を提案する。 我々は,視覚信号の密集性を様々な映像認識タスクでモデル化するために,この基本アーキテクチャの事前評価を行う。
  論文  参考訳（メタデータ） (2021-04-22T17:59:45Z)
• CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification [17.709880544501758]
  異なるサイズの画像パッチを組み合わせて、より強力な画像特徴を生成するデュアルブランチトランスを提案します。 我々のアプローチは、異なる計算複雑性の2つの別々の分岐を持つ小さなパッチトークンと大きなパッチトークンを処理します。 私たちの提案するクロスアテンションは、計算とメモリの複雑さの両方に線形時間しか必要としない。
  論文  参考訳（メタデータ） (2021-03-27T13:03:17Z)
• Transformers in Vision: A Survey [101.07348618962111]
  トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。 変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。 本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2021-01-04T18:57:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。