論文の概要: Exploring the Integration of Key-Value Attention Into Pure and Hybrid Transformers for Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2503.18862v1
• Date: Mon, 24 Mar 2025 16:38:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:39:44.483680
• Title: Exploring the Integration of Key-Value Attention Into Pure and Hybrid Transformers for Semantic Segmentation
• Title（参考訳）: セマンティックセグメンテーションのためのPureおよびHybrid Transformerへのキーバリューアテンションの統合の検討
• Authors: DeShin Hwa, Tobias Holmes, Klaus Drechsler,
• Abstract要約: KV Transformerは、合成、NLP、画像分類タスクにおいて有望な結果を示す。 これは特に、局所的な推論が必要な場合(例えば、医療スクリーニングなど)に起因している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: While CNNs were long considered state of the art for image processing, the introduction of Transformer architectures has challenged this position. While achieving excellent results in image classification and segmentation, Transformers remain inherently reliant on large training datasets and remain computationally expensive. A newly introduced Transformer derivative named KV Transformer shows promising results in synthetic, NLP, and image classification tasks, while reducing complexity and memory usage. This is especially conducive to use cases where local inference is required, such as medical screening applications. We endeavoured to further evaluate the merit of KV Transformers on semantic segmentation tasks, specifically in the domain of medical imaging. By directly comparing traditional and KV variants of the same base architectures, we provide further insight into the practical tradeoffs of reduced model complexity. We observe a notable reduction in parameter count and multiply accumulate operations, while achieving similar performance from most of the KV variant models when directly compared to their QKV implementation.
• Abstract（参考訳）: CNNは長年、画像処理の最先端と見なされてきたが、Transformerアーキテクチャの導入は、この立場に挑戦してきた。 画像分類とセグメンテーションにおいて優れた結果を達成する一方で、Transformerは本質的に大規模なトレーニングデータセットに依存しており、計算コストも高い。 KV Transformerと呼ばれる新しいTransformer誘導体は、複雑性とメモリ使用量を減らすとともに、合成、NLP、画像分類タスクにおいて有望な結果を示す。 これは特に、局所的な推論が必要な場合(例えば、医療スクリーニングなど)に起因している。 我々は,KVトランスフォーマーのセマンティックセグメンテーションタスク,特に医用画像領域におけるメリットを更に評価するために努力した。 同じベースアーキテクチャの従来型とKV型を直接比較することにより、モデルの複雑さを減らすための実践的なトレードオフについて、さらなる知見を提供する。 パラメータ数および乗算累積演算の顕著な削減を観察するとともに,QKV実装と直接比較した場合に,ほとんどのKV変種モデルから同様の性能を実現する。

関連論文リスト

• Key-Value Transformer [47.64219291655723]
  キー値定式化(KV)は2次元位置符号化をアテンション行列に組み込んだ非対称版とともに対称アテンションマップを生成する。 実験には3つのタスクタイプ - 合成(リストの反転やソートなど)、視覚(mnistまたはcifar classification)、NLP - が含まれる。
  論文  参考訳（メタデータ） (2023-05-28T20:26:06Z)
• SSformer: A Lightweight Transformer for Semantic Segmentation [7.787950060560868]
  Swin Transformerは階層アーキテクチャとシフトウィンドウを使用して、様々な視覚タスクで新しい記録を樹立した。 我々はSSformerと呼ばれる軽量で効果的なトランスモデルを設計する。 実験の結果,提案したSSformerは最先端モデルと同等のmIoU性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-08-03T12:57:00Z)
• TransNorm: Transformer Provides a Strong Spatial Normalization Mechanism for a Deep Segmentation Model [4.320393382724066]
  畳み込みニューラルネットワーク(CNN)は、医療画像処理時代の主流技術である。 本稿では,Transformerモジュールをエンコーダとスキップ接続の両方に統合する,新しいディープセグメンテーションフレームワークであるTrans-Normを提案する。
  論文  参考訳（メタデータ） (2022-07-27T09:54:10Z)
• Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation [58.4650849317274]
  Volumetric Aggregation with Transformers (VAT)は、数ショットセグメンテーションのためのコスト集約ネットワークである。 VATは、コスト集約が中心的な役割を果たすセマンティック対応のための最先端のパフォーマンスも達成する。
  論文  参考訳（メタデータ） (2022-07-22T04:10:30Z)
• Efficient Vision Transformers via Fine-Grained Manifold Distillation [96.50513363752836]
  視覚変換器のアーキテクチャは多くのコンピュータビジョンタスクで異常な性能を示した。 ネットワーク性能は向上するが、トランスフォーマーはより多くの計算資源を必要とすることが多い。 本稿では,教師のトランスフォーマーから,画像と分割パッチの関係を通して有用な情報を抽出することを提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:28:34Z)
• XCiT: Cross-Covariance Image Transformers [73.33400159139708]
  本稿では,トークンではなく機能チャネルをまたいで機能する自己注意の「伝達」バージョンを提案する。 その結果、XCAはトークン数に線形複雑さを持ち、高解像度画像の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2021-06-17T17:33:35Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)
• Medical Transformer: Gated Axial-Attention for Medical Image Segmentation [73.98974074534497]
  医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。 セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。 医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
  論文  参考訳（メタデータ） (2021-02-21T18:35:14Z)
• Training Vision Transformers for Image Retrieval [32.09708181236154]
  我々は、画像記述子を生成するために視覚変換器を採用し、結果のモデルをメートル法学習目標で訓練する。 コンボリューションに基づくアプローチよりも,トランスフォーマーの一貫性と顕著な改善が示された。
  論文  参考訳（メタデータ） (2021-02-10T18:56:41Z)
• Toward Transformer-Based Object Detection [12.704056181392415]
  ビジョントランスフォーマーは、共通の検出タスクヘッドによってバックボーンとして使用することができ、競合するCOCO結果を生成する。 vit-frcnnは、大きな事前訓練能力と高速微調整性能を含むトランスフォーマーに関連するいくつかの既知の特性を示す。 ViT-FRCNNは、オブジェクト検出などの複雑な視覚タスクの純粋なトランスフォーマーソリューションへの重要なステップストーンであると考えています。
  論文  参考訳（メタデータ） (2020-12-17T22:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。