論文の概要: On the Necessity of Attention-FFN Split in Vision Transformers

• arxiv url: http://arxiv.org/abs/2610.10303v1
• Date: Wed, 07 Oct 2026 15:57:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.017299
• Title: On the Necessity of Attention-FFN Split in Vision Transformers
• Title（参考訳）: 視覚変換器における注意-FFN分割の必要性について
• Abstract要約: 視覚変換器(ViTs)における注意-FFN二分法の必要性について検討する。 我々は、従来の交流型注意-FFN構造をAttenFeedモジュールのシーケンスに置き換える統合されたビジョン変換器(uViT)を考案した。 実験の結果,ViTの厳密なパラメータ割り当てにより,アテンション-FFN二分法はより小さなモデルスケールでの性能を損なうことが判明した。
• 参考スコア（独自算出の注目度）: 10.307618290175201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The standard Transformer architecture relies on a rigid pattern that alternates Attention and Feed-Forward Network (FFN) layers. Despite its widespread adoption, the inductive bias imposed by this strict separation has not been systematically examined. In this work, we investigate the necessity of the Attention-FFN dichotomy in Vision Transformers (ViTs). To facilitate this analysis, we introduce the AttenFeed module, a unified component that integrates the functional properties of both Attention and FFN. Based on this module, we devise the unified Vision Transformer (uViT), which replaces the conventional alternating Attention-FFN structure with a sequence of AttenFeed modules. We then use uViT as a control group that relaxes the Attention-FFN dichotomy of the standard ViT and systematically compare the two models across multiple datasets and model scales. Our experiments reveal that the Attention-FFN dichotomy can hinder performance at smaller model scales due to the rigid parameter allocation of ViTs. The AttenFeed module and uViT serve as new analytical tools for understanding the Attention-FFN structure and offer theoretical insights into the heuristically designed architecture of conventional ViTs.
• Abstract（参考訳）: 標準的なTransformerアーキテクチャは、AttentionとFeed-Forward Network(FFN)レイヤを置き換える厳格なパターンに依存している。 広く採用されているにもかかわらず、この厳密な分離によって課される帰納バイアスは体系的に検討されていない。 本研究では,視覚変換器(ViT)における注意-FFN二分法の必要性について検討する。 この分析を容易にするために,AttentionとFFNの両方の機能特性を統合する統合コンポーネントであるAttenFeedモジュールを紹介した。 このモジュールをベースとした統合ビジョントランスフォーマー (uViT) を考案し,従来の交流注意-FFN 構造を AttenFeed モジュールのシーケンスに置き換える。 次に、uViTを標準ViTのアテンション-FFN二分法を緩和する制御グループとして使用し、複数のデータセットとモデルスケールで2つのモデルを体系的に比較する。 実験の結果,ViTの厳密なパラメータ割り当てにより,アテンション-FFN二分法はより小さなモデルスケールでの性能を損なうことが判明した。 AttenFeedモジュールとuViTは、Attention-FFN構造を理解するための新しい分析ツールとして機能し、従来のViTのヒューリスティック設計アーキテクチャに関する理論的洞察を提供する。

関連論文リスト

• High-Fidelity Differential-information Driven Binary Vision Transformer [38.19452875887032]
  ビジョントランスフォーマーのバイナリ化(ViT)は、高い計算/ストレージ要求とエッジデバイスデプロイメントの制約の間のトレードオフに対処する、有望なアプローチを提供する。 本稿では,従来の ViT アーキテクチャと計算効率を両立させながら,高情報化が可能な新しいバイナリ ViT である DIDB-ViT を提案する。
  論文  参考訳（メタデータ） (2025-07-03T00:59:53Z)
• Is Attention Required for Transformer Inference? Explore Function-preserving Attention Replacement [13.38679135071682]
  本稿では,事前学習したトランスフォーマーのすべての注意ブロックを学習可能なシーケンス・ツー・シーケンスモジュールに置き換える機能保存型アテンション・リプレースメントフレームワークを提案する。 DeiTビジョントランスファミリ上でFARを検証し、ImageNet上の元のモデルの精度と、パラメータとレイテンシを低減した複数の下流タスクとを一致させることを実証する。
  論文  参考訳（メタデータ） (2025-05-24T02:23:46Z)
• Generalized Face Forgery Detection via Adaptive Learning for Pre-trained Vision Transformer [54.32283739486781]
  適応学習パラダイムの下で,textbfForgery-aware textbfAdaptive textbfVision textbfTransformer(FA-ViT)を提案する。 FA-ViTは、クロスデータセット評価において、Celeb-DFおよびDFDCデータセット上で93.83%と78.32%のAUCスコアを達成する。
  論文  参考訳（メタデータ） (2023-09-20T06:51:11Z)
• Investigating the Role of Feed-Forward Networks in Transformers Using Parallel Attention and Feed-Forward Net Design [27.943334687742244]
  本稿では,Parallel AttentionとFeed-Forward Net Designアーキテクチャを用いて,トランスフォーマモデルにおけるFeed-Forward Networks (FFN) の役割について検討する。 これらの仮定を実証的に検証するために、我々は2つの大きな言語モデル(RoBERTa-largeとbert-large-uncased)のPAF変種を訓練する。
  論文  参考訳（メタデータ） (2023-05-22T17:56:09Z)
• SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
  本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。 提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。 実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-08-31T03:00:07Z)
• Deeper Insights into ViTs Robustness towards Common Corruptions [82.79764218627558]
  我々は、CNNのようなアーキテクチャ設計とCNNベースのデータ拡張戦略が、一般的な汚職に対するViTsの堅牢性にどのように影響するかを検討する。 重なり合うパッチ埋め込みと畳み込みフィードフォワードネットワーク(FFN)がロバスト性の向上を実証する。 また、2つの角度から入力値の増大を可能にする新しい条件付き手法も導入する。
  論文  参考訳（メタデータ） (2022-04-26T08:22:34Z)
• Coarse-to-Fine Vision Transformer [83.45020063642235]
  性能を維持しながら計算負担を軽減するための粗視変換器(CF-ViT)を提案する。 提案するCF-ViTは,近代的なViTモデルにおける2つの重要な観測によって動機付けられている。 CF-ViTはLV-ViTのFLOPを53%削減し,スループットも2.01倍に向上した。
  論文  参考訳（メタデータ） (2022-03-08T02:57:49Z)
• Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
  この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。 遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
  論文  参考訳（メタデータ） (2021-10-10T18:04:59Z)
• On Improving Adversarial Transferability of Vision Transformers [97.17154635766578]
  視覚変換器(ViT)は、入力画像を、自己注意によるパッチのシーケンスとして処理する。 本稿では,ViTモデルの対角的特徴空間とその伝達性について検討する。 本稿では,ViTモデルのアーキテクチャに特有な2つの新しい戦略を紹介する。
  論文  参考訳（メタデータ） (2021-06-08T08:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。