論文の概要: Forgetting Transformer: Softmax Attention with a Forget Gate

• arxiv url: http://arxiv.org/abs/2503.02130v1
• Date: Mon, 03 Mar 2025 23:35:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:28.497200
• Title: Forgetting Transformer: Softmax Attention with a Forget Gate
• Title（参考訳）: 変圧器を忘れる: フォークゲートでソフトマックスに注意
• Authors: Zhixuan Lin, Evgenii Nikishin, Xu Owen He, Aaron Courville,
• Abstract要約: 我々はこの注意機構を Forgetting Attention と命名し、 Forgetting Transformer (FoX) をモデルとした。 FoXは、長文言語モデリング、長さ補間、短文下流タスクでTransformerより優れている。 FoXはFlashAttentionアルゴリズムと互換性があり、位置埋め込みを必要としない。
• 参考スコア（独自算出の注目度）: 4.484298224007183
• License:
• Abstract: An essential component of modern recurrent sequence models is the forget gate. While Transformers do not have an explicit recurrent form, we show that a forget gate can be naturally incorporated into Transformers by down-weighting the unnormalized attention scores in a data-dependent way. We name this attention mechanism the Forgetting Attention and the resulting model the Forgetting Transformer (FoX). We show that FoX outperforms the Transformer on long-context language modeling, length extrapolation, and short-context downstream tasks, while performing on par with the Transformer on long-context downstream tasks. Moreover, it is compatible with the FlashAttention algorithm and does not require any positional embeddings. Several analyses, including the needle-in-the-haystack test, show that FoX also retains the Transformer's superior long-context capabilities over recurrent sequence models such as Mamba-2, HGRN2, and DeltaNet. We also introduce a "Pro" block design that incorporates some common architectural components in recurrent sequence models and find it significantly improves the performance of both FoX and the Transformer. Our code is available at https://github.com/zhixuan-lin/forgetting-transformer.
• Abstract（参考訳）: 現代のリカレントシークエンスモデルの不可欠な構成要素は、忘れゲートである。 トランスフォーマーは明示的なリカレント形式を持たないが,非正規化注意スコアをデータ依存方式で低重み付けすることで,リザーブゲートをトランスフォーマーに自然に組み込むことができることを示す。 我々は、この注意機構を Forgetting Attention と、 Forgetting Transformer (FoX) と命名する。 長文言語モデリング、長さ補間、短文ダウンストリームタスクにおいて、FoXはTransformerよりも優れており、長文ダウンストリームタスクではTransformerと同等であることを示す。 さらに、FlashAttentionアルゴリズムと互換性があり、位置埋め込みを必要としない。 いくつかの分析では、Mamba-2、HGRN2、DeltaNetなどの繰り返しシーケンスモデルよりも、FoXはTransformerの長文処理能力が優れていることが示されている。 また、繰り返しシーケンスモデルにいくつかの共通アーキテクチャコンポーネントを組み込んだ"Pro"ブロック設計を導入し、FoXとTransformerの両方の性能を大幅に改善することを発見した。 私たちのコードはhttps://github.com/zhixuan-lin/forgetting-transformer.comから入手可能です。

関連論文リスト

• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• TransformerFAM: Feedback attention is working memory [18.005034679674274]
  本稿では,フィードバックループを利用した新しいトランスフォーマーアーキテクチャを提案する。 TransformerFAMは追加の重みを必要とせず、事前訓練されたモデルとのシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2024-04-14T07:43:45Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Functional Interpolation for Relative Positions Improves Long Context Transformers [86.12843093589]
  本稿では,より長いコンテキストに変換器の一般化を改善するために,プログレッシブなFIREを用いた関数的相対的位置符号化を提案する。 理論的には、これはT5のRPE、Alibi、Kerpleなどの一般的な相対的な位置エンコーディングのいくつかを表現できる。 FIREモデルは、ゼロショット言語モデリングと長文ベンチマークの両方において、より長い文脈での一般化がより優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-06T17:59:11Z)
• Fourier Transformer: Fast Long Range Modeling by Removing Sequence Redundancy with FFT Operator [24.690247474891958]
  フーリエ変換器は、様々な大きな事前訓練されたモデルから継承する能力を維持しながら、計算コストを大幅に削減することができる。 本モデルは,長距離モデリングベンチマークLRAにおいて,トランスフォーマーベースモデル間の最先端性能を実現する。 CNN/DailyMailやELI5などのシークエンシャルなシークエンスタスクでは、BARTを継承することで、私たちのモデルは標準のBARTよりも優れています。
  論文  参考訳（メタデータ） (2023-05-24T12:33:06Z)
• A Length-Extrapolatable Transformer [98.54835576985664]
  長さ外挿、すなわち短いテキストのトレーニングに焦点をあて、長いシーケンスを評価します。 注目度を最大化するために,相対的な位置埋め込みを導入する。 言語モデルを用いてトランスフォーマーの変種を評価する。
  論文  参考訳（メタデータ） (2022-12-20T18:56:20Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Glance-and-Gaze Vision Transformer [13.77016463781053]
  我々は Glance-and-Gaze Transformer (GG-Transformer) という新しい視覚変換器を提案する。 自然の場面で物体を認識するとき、人間のGlance and Gazeの行動によって動機付けられている。 提案手法は,従来の最先端変圧器よりも一貫した性能を実現することを実証的に実証する。
  論文  参考訳（メタデータ） (2021-06-04T06:13:47Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。