論文の概要: Learning What's Missing: Attention Dispersion and EMA Stabilization in Length Generalization

• arxiv url: http://arxiv.org/abs/2510.08341v1
• Date: Thu, 09 Oct 2025 15:26:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.163053
• Title: Learning What's Missing: Attention Dispersion and EMA Stabilization in Length Generalization
• Title（参考訳）: 不足点の学習:長さ一般化における注意分散とEMA安定化
• Authors: Pál Zsámboki, Benjamin Levi, David Ansel Josef Smith, Mitansh Kagalwala, Arlington Kell, Samuel Liechty, Cong Wang,
• Abstract要約: 本研究では, 変圧器における長さ一般化について, 集合補題を用いて検討する。 モデルは入力シーケンスから欠落したトークンに対する均一な分布を予測しなければならない。 そのようなモデルが長さ 1 と 2 の平衡ロジット変位を達成した場合、より長い列に一般化する必要があることを示す。
• 参考スコア（独自算出の注目度）: 3.8776893257232032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study length generalization in transformers through the set complement task, where a model must predict a uniform distribution over tokens absent from an input sequence -- an ability central to board-game style reasoning. Our main theoretical result establishes two statements. First, we prove tight bounds on embedding and value dimensions for single-layer attention-only transformers. Second, we show that if such a model achieves balanced logit displacement at lengths 1 and 2, then it must generalize to longer sequences, though with reduced precision. A mechanistic reading of the proof explains this limitation: as more tokens are attended to, softmax compresses logit displacements, eroding separation between valid and invalid outputs. Training dynamics also suggest a second obstacle: when many next tokens are possible, updates become noisy. We hypothesize that dropout can counteract the first effect and Exponential Moving Average (EMA) the second. We validate these hypotheses through random hyperparameter search on the set complement task, which confirms both mechanisms. We then test OthelloGPT, a GPT-1 style model trained on random Othello moves, and find that EMA again improves length generalization in this more complex setting.
• Abstract（参考訳）: そこでは,入力シーケンスから欠落するトークンの均一分布をモデルが予測しなければならない。これはボードゲームスタイルの推論の中心となる能力である。 我々の理論結果は2つの主張を立証する。 まず,単層アテンションのみの変圧器における埋め込みと値次元の厳密な境界を証明した。 第二に、そのようなモデルが長さ 1 と 2 の平衡ロジット変位を達成できた場合、より長い列に一般化する必要があるが、精度は低下する。 より多くのトークンが参加するにつれて、ソフトマックスはロジットの変位を圧縮し、有効出力と無効出力の分離を侵食する。 トレーニングダイナミクスはまた、次の障害も示唆している。 ドロップアウトは第1の効果と第2の指数移動平均(EMA)に反する可能性があると仮定する。 本研究では,これらの仮説を集合補題上でランダムなハイパーパラメータ探索により検証し,両者のメカニズムを検証した。 次に、ランダムなオセロ移動に基づいて訓練されたGPT-1スタイルモデルであるOthelloGPTをテストする。

関連論文リスト

• Two failure modes of deep transformers and how to avoid them: a unified theory of signal propagation at initialisation [8.973965016201822]
  ニューラルネットワークの適切な初期化を見つけることは、スムーズなトレーニングと優れたパフォーマンスを保証するために不可欠である。 トランスフォーマーでは、間違った初期化は、ランク崩壊、すべてのトークンが同様の表現に崩壊するランク崩壊、エントロピー崩壊、高度に集中した注意スコアが不安定になる2つの失敗モードの1つにつながる可能性がある。 ここでは、自己アテンション、層正規化、スキップ接続、勾配を有する深層変圧器による信号伝搬の解析理論を提案する。
  論文  参考訳（メタデータ） (2025-05-30T08:18:23Z)
• Born a Transformer -- Always a Transformer? [57.37263095476691]
  We study a family of $textitretrieval$ and $textitcopying$ tasks inspired by Liu et al。 我々は、事前訓練されたモデルがクエリトークンの左(アンチインダクション)よりも右(インダクション)へのトークンの検索が優れているような、$textitinduction-versus-anti-induction$ asymmetricを観察する。 力学解析により、この非対称性は、事前学習された変圧器内の誘導の強度と反誘導回路の強度の違いに関係していることが明らかになった。
  論文  参考訳（メタデータ） (2025-05-27T21:36:50Z)
• Mechanistic Insights into Grokking from the Embedding Layer [15.676058752772287]
  ニューラルネットワークの遅延一般化であるGrokkingは、トランスフォーマーやスタタネートで観測されているが、それを駆動するコンポーネントはまだ探索されていない。 埋め込みはグルーキングの中心であり、インプットの導入はモジュラー演算タスクにおける遅延一般化を誘導する。 我々の手法はグルーキング力学を改良するだけでなく、バイ線形相互作用が効率的なトレーニングを妨げるトランスフォーマー最適化の幅広い課題にまで拡張する。
  論文  参考訳（メタデータ） (2025-05-21T15:12:34Z)
• Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking [50.465604300990904]
  グロキング(Grokking)とは、オーバーフィッティングの拡張後のテスト精度の急激な改善を指す。 本研究では、素数演算のタスクにおいて、Transformerの基盤となるグルーキング機構について検討する。
  論文  参考訳（メタデータ） (2025-04-04T04:42:38Z)
• An Analysis of Attention via the Lens of Exchangeability and Latent Variable Models [64.87562101662952]
  入力トークンは、位置エンコーディングを含むため、しばしば交換可能であることを示す。 我々は入力トークンの十分かつ最小限の表現の存在を確立する。 所望パラメータの注意が近似誤差まで潜伏した後部を推定することを証明する。
  論文  参考訳（メタデータ） (2022-12-30T17:59:01Z)
• WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
  キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。 最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。 本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
  論文  参考訳（メタデータ） (2022-11-13T09:56:24Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。