論文の概要: Associative Transformer

• arxiv url: http://arxiv.org/abs/2309.12862v4
• Date: Tue, 11 Mar 2025 09:04:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 22:35:51.120317
• Title: Associative Transformer
• Title（参考訳）: 連想変換器
• Authors: Yuwei Sun, Hideya Ochiai, Zhirong Wu, Stephen Lin, Ryota Kanai,
• Abstract要約: 少人数の入力トークン間の関連性を高めるために,Associative Transformer (AiT)を提案する。 AiTは、さまざまな局所化トークンの抽出を容易にするために、ボトルネック注意を誘導する特別な事前情報を含む学習可能な明示的メモリを使用する。
• 参考スコア（独自算出の注目度）: 25.1364199879332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emerging from the pairwise attention in conventional Transformers, there is a growing interest in sparse attention mechanisms that align more closely with localized, contextual learning in the biological brain. Existing studies such as the Coordination method employ iterative cross-attention mechanisms with a bottleneck to enable the sparse association of inputs. However, these methods are parameter inefficient and fail in more complex relational reasoning tasks. To this end, we propose Associative Transformer (AiT) to enhance the association among sparsely attended input tokens, improving parameter efficiency and performance in various vision tasks such as classification and relational reasoning. AiT leverages a learnable explicit memory comprising specialized priors that guide bottleneck attentions to facilitate the extraction of diverse localized tokens. Moreover, AiT employs an associative memory-based token reconstruction using a Hopfield energy function. The extensive empirical experiments demonstrate that AiT requires significantly fewer parameters and attention layers outperforming a broad range of sparse Transformer models. Additionally, AiT outperforms the SOTA sparse Transformer models including the Coordination method on the Sort-of-CLEVR dataset.
• Abstract（参考訳）: 従来のトランスフォーマーの対の注意から、生物学的脳の局所的、文脈的学習とより緊密に連携するスパースアテンション機構への関心が高まっている。 コーディネーション法のような既存の研究では、インプットの疎結合を可能にするために、ボトルネックを伴う反復的クロスアテンション機構を採用している。 しかし、これらの手法はパラメータ非効率であり、より複雑な関係推論タスクでは失敗する。 そこで本稿では,AiT (Associative Transformer) を提案する。AiT (Associative Transformer) は,少人数の入力トークン間の関連性を向上し,分類やリレーショナル推論といった様々な視覚タスクにおけるパラメータ効率と性能を向上させる。 AiTは、さまざまな局所化トークンの抽出を容易にするためにボトルネックの注意を誘導する特別な事前情報を含む学習可能な明示メモリを活用する。 さらに、AiTはホップフィールドエネルギー関数を用いた連想型メモリベースのトークン再構成を採用している。 広範な実験実験により、AiTは幅広いスパーストランスフォーマーモデルよりもはるかに少ないパラメータと注意層を必要とすることが示された。 さらに、AiTはSolt-of-CLEVRデータセット上のCoordinationメソッドを含むSOTAスパーストランスフォーマーモデルより優れている。

関連論文リスト

• BHViT: Binarized Hybrid Vision Transformer [53.38894971164072]
  モデルバイナライゼーションは畳み込みニューラルネットワーク(CNN)のリアルタイムおよびエネルギー効率の計算を可能にした。 本稿では,バイナライズフレンドリーなハイブリッドViTアーキテクチャであるBHViTとそのバイナライズモデルを提案する。 提案アルゴリズムは,バイナリ ViT 手法間でSOTA 性能を実現する。
  論文  参考訳（メタデータ） (2025-03-04T08:35:01Z)
• Neural Attention: A Novel Mechanism for Enhanced Expressive Power in Transformer Models [0.0]
  本稿では,ドット積をフィードフォワードネットワークに置き換えることで,トークン間の関係を表現しやすくする手法を提案する。 この研究は、様々なアプリケーションにわたるトランスフォーマーモデルの予測能力を高める効果的な手段として、ニューラルアテンションを確立する。
  論文  参考訳（メタデータ） (2025-02-24T14:39:40Z)
• Mixture of Attention Yields Accurate Results for Tabular Data [21.410818837489973]
  本稿では,エンコーダ・デコーダ・トランスを用いたMAYAを提案する。 エンコーダでは、複数の並列注意枝を構成するMOA(Mixture of Attention)を設計する。 我々は、より堅牢な表現を生成するために、動的一貫性重み制約を伴う協調学習を採用する。
  論文  参考訳（メタデータ） (2025-02-18T03:43:42Z)
• Scaled and Inter-token Relation Enhanced Transformer for Sample-restricted Residential NILM [0.0]
  そこで本研究では,原型変圧器のアテンション機構を向上し,性能を向上させるための2つの新しい機構を提案する。 第1のメカニズムは、トレーニング中のトークン類似度行列におけるトークン内関係の優先順位付けを低減し、トークン間焦点を増大させる。 第2のメカニズムは、トークン類似性行列の学習可能な温度チューニングを導入し、固定温度値に関連する過度なスムーシング問題を緩和する。
  論文  参考訳（メタデータ） (2024-10-12T18:58:45Z)
• DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
  我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。 様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
  論文  参考訳（メタデータ） (2024-10-07T07:21:49Z)
• Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers [56.264673865476986]
  本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。 SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。 我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
  論文  参考訳（メタデータ） (2024-06-17T07:24:38Z)
• Symmetric Dot-Product Attention for Efficient Training of BERT Language Models [5.838117137253223]
  本稿では,Transformer アーキテクチャによって導入された自己注意機構の代替互換性関数を提案する。 BERTライクなモデルの事前トレーニングに適用すると、この新しい対称アテンション機構はGLUEベンチマークで79.36点に達し、従来の実装では78.74点だった。
  論文  参考訳（メタデータ） (2024-06-10T15:24:15Z)
• FAST: Factorizable Attention for Speeding up Transformers [1.3637227185793512]
  本稿では,スペーシフィケーションを伴わずに,注目行列の完全な表現を維持する線形スケールアテンション機構を提案する。 その結果、我々の注意機構は堅牢な性能を示し、自己注意が使用される多様なアプリケーションに対して大きな可能性を秘めていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T18:59:39Z)
• Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
  本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。 特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。 このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-20T17:35:44Z)
• Linear Self-Attention Approximation via Trainable Feedforward Kernel [77.34726150561087]
  高速な計算を追求する中で、効率的なトランスフォーマーは印象的な様々なアプローチを実証している。 我々は,トランスフォーマーアーキテクチャの自己保持機構を近似するために,トレーニング可能なカーネルメソッドのアイデアを拡張することを目指している。
  論文  参考訳（メタデータ） (2022-11-08T08:14:11Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)
• Vision Transformer with Convolutions Architecture Search [72.70461709267497]
  本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。 これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
  論文  参考訳（メタデータ） (2022-03-20T02:59:51Z)
• Knowledge Amalgamation for Object Detection with Transformers [36.7897364648987]
  ナレッジ・アマルガメーション (Knowledge Amalgamation, KA) は、数名の訓練を受けた教師から小学生に知識を伝達することを目的とした、新しいディープ・モデル・リユース・タスクである。 我々は,KAをシーケンスレベル・アマルガメーション(SA)とタスクレベル・アマルガメーション(TA)の2つの側面に分解することを提案する。 特に、教師シーケンスを固定サイズのものに冗長に集約する代わりに、教師シーケンスを連結することにより、シーケンスレベルのアマルガメーション内でヒントを生成する。
  論文  参考訳（メタデータ） (2022-03-07T07:45:22Z)
• Short Range Correlation Transformer for Occluded Person Re-Identification [4.339510167603376]
  PFTと呼ばれる部分的特徴変換器に基づく人物識別フレームワークを提案する。 提案したPFTは3つのモジュールを用いて視覚変換器の効率を向上する。 包括的および包括的再同定データセットに対する実験結果から,提案したPFTネットワークが一貫した性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-01-04T11:12:39Z)
• Augmented Shortcuts for Vision Transformers [49.70151144700589]
  視覚変換器モデルにおけるショートカットと特徴の多様性の関係について検討する。 本稿では,元のショートカットに並列に学習可能なパラメータを追加経路を挿入する拡張ショートカット方式を提案する。 ベンチマークデータセットを用いて実験を行い,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-06-30T09:48:30Z)
• Semantic Correspondence with Transformers [68.37049687360705]
  本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。 初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2021-06-04T14:39:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。