論文の概要: On Vanishing Variance in Transformer Length Generalization

• arxiv url: http://arxiv.org/abs/2504.02827v1
• Date: Thu, 03 Apr 2025 17:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 15:19:22.88044
• Title: On Vanishing Variance in Transformer Length Generalization
• Title（参考訳）: 変圧器長一般化における消滅変動について
• Authors: Ruining Li, Gabrijel Boduljak, Jensen, Zhou,
• Abstract要約: また,今日のフロンティアモデルにおいても,より長いシーケンス長はマルチヘッドアテンションモジュールの出力のばらつきを減少させることを示した。 分析では, この改善は分散の消失による分布シフトを完全に排除したものではないものの, 削減したと考えられる。
• 参考スコア（独自算出の注目度）: 23.706900145711913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is a widely known issue that Transformers, when trained on shorter sequences, fail to generalize robustly to longer ones at test time. This raises the question of whether Transformer models are real reasoning engines, despite their impressive abilities in mathematical problem solving and code synthesis. In this paper, we offer a vanishing variance perspective on this issue. To the best of our knowledge, we are the first to demonstrate that even for today's frontier models, a longer sequence length results in a decrease in variance in the output of the multi-head attention modules. On the argmax retrieval and dictionary lookup tasks, our experiments show that applying layer normalization after the attention outputs leads to significantly better length generalization. Our analyses attribute this improvement to a reduction-though not a complete elimination-of the distribution shift caused by vanishing variance.
• Abstract（参考訳）: Transformersは、短いシーケンスでトレーニングすると、テスト時に長いシーケンスに対して堅牢に一般化できないという、広く知られている問題である。 このことは、数学的問題解決とコード合成に優れた能力があるにもかかわらず、Transformerモデルが真の推論エンジンであるかどうかという問題を提起する。 本稿では, この問題について, 異論の相違点を提示する。 我々の知る限りでは、今日のフロンティアモデルにおいても、より長いシーケンス長がマルチヘッドアテンションモジュールの出力のばらつきを減少させることを示す最初のものである。 argmax検索および辞書検索タスクでは,アテンション出力後の層正規化の適用により,長さの一般化が著しく向上することを示した。 分析では, この改善は分散の消失による分布シフトを完全に排除したものではないものの, 削減したと考えられる。

関連論文リスト

• The Role of Sparsity for Length Generalization in Transformers [58.65997625433689]
  そこで本研究では,次の予測課題に対する長さの一般化を研究するための理論的枠組みを提案する。 予測された各トークンが前のトークンの小さな(固定された)数に依存する限り、長さの一般化が生じることを示す。 本稿では,位置結合手法で使用する位置IDを予測するために,変圧器を訓練する予測位置結合を導入する。
  論文  参考訳（メタデータ） (2025-02-24T03:01:03Z)
• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• Transformers Can Achieve Length Generalization But Not Robustly [76.06308648699357]
  長さ一般化の成功は,データ形式や位置エンコーディングのタイプと密接に関連していることを示す。 標準変換器が入力長の2.5倍のシーケンス長に外挿できることを初めて示す。
  論文  参考訳（メタデータ） (2024-02-14T18:18:29Z)
• From Interpolation to Extrapolation: Complete Length Generalization for Arithmetic Transformers [7.011373967209572]
  対象の注意バイアスの助けを借りて,変圧器モデルを長大化することができることを示す。 ABC を用いて,変圧器モデルにより,ある種の算術課題において,前例のないほぼ完全長の一般化を達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-18T14:10:47Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Robust representations of oil wells' intervals via sparse attention mechanism [2.604557228169423]
  正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。 私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。 このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
  論文  参考訳（メタデータ） (2022-12-29T09:56:33Z)
• A Length-Extrapolatable Transformer [98.54835576985664]
  長さ外挿、すなわち短いテキストのトレーニングに焦点をあて、長いシーケンスを評価します。 注目度を最大化するために,相対的な位置埋め込みを導入する。 言語モデルを用いてトランスフォーマーの変種を評価する。
  論文  参考訳（メタデータ） (2022-12-20T18:56:20Z)
• Sequence Length is a Domain: Length-based Overfitting in Transformer Models [0.0]
  機械翻訳において、ニューラルベースシステムは、前回のフレーズベースの翻訳アプローチと比較して非常に長いシーケンスでより良く動作する。 実験結果から, 実験結果から得られた実験結果から, 観測結果の減少は, 入力シーケンスの長さではなく, 学習中のモデルで見られる長さに対応する仮説長が原因であることが示唆された。
  論文  参考訳（メタデータ） (2021-09-15T13:25:19Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Normalized Attention Without Probability Cage [12.18340575383456]
  確率単純度に注意重みを拘束する限界を示す。 自己注意におけるソフトマックスを正規化に置き換えることを提案する。 25,000以上のトレーニングモデルから得られた経験的な結果によって、私たちの洞察を支持します。
  論文  参考訳（メタデータ） (2020-05-19T16:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。