論文の概要: Quantitative Generalization Bounds for Multi-Layer Transformers: A Few Long Strings can Beat Many Short Ones

• arxiv url: http://arxiv.org/abs/2610.35715v2
• Date: Tue, 27 Oct 2026 14:39:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.366193
• Title: Quantitative Generalization Bounds for Multi-Layer Transformers: A Few Long Strings can Beat Many Short Ones
• Title（参考訳）: 多層変圧器の定量一般化境界:短絡数に勝る長弦は少ない
• Abstract要約: 変圧器の一般化能力は本質的に2つの軸を考える必要がある。 関係するモデルのパラメータサイズの観点から一般化を保証する。 トレーニング長の増大は,サンプルサイズの増加よりも指数関数的に効率がよいことがわかった。
• 参考スコア（独自算出の注目度）: 3.1893852182632685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based language models exhibit an astonishing capacity to generalize to longer and more difficult problem instances than those seen in training. However, theoretical understanding of this phenomenon still lags behind. Unlike most machine learning models, the generalisation abilities of transformers inherently require considering two axes. On one hand, one must examine in-distribution statistical generalisation, which concerns the ability of a model to broaden a function from training samples to novel samples of the same distribution. On the other hand, given the sequential nature of language data, one must also consider length generalisation, which reflects whether a model trained on inputs of a given length can extrapolate to longer ones. These two notions have mostly been studied separately, leaving open how they interact. In this work, we give a joint treatment of both axes for fixed-precision transformers. We give generalisation guarantees in terms of the parameter sizes of the involved models, as well as the quantization space and the alphabet size that supply the sequences. Finally, we illustrate how the requirements in the sample count and training length trade off. In particular, we find that increasing training length can be exponentially more efficient than increasing the sample size. Experiments support predictions of the theory.
• Abstract（参考訳）: トランスフォーマーベースの言語モデルは、トレーニングで見られるものよりも長く、より困難な問題インスタンスに一般化する驚くべき能力を示している。 しかし、この現象の理論的理解はいまだに遅れている。 多くの機械学習モデルとは異なり、変換器の一般化能力は本質的に2つの軸を考える必要がある。 一方、モデルがトレーニングサンプルから同じ分布の新規サンプルへと機能を広げる能力を懸念する分布内統計一般化を検討する必要がある。 一方、言語データのシーケンシャルな性質を考えると、与えられた長さの入力に基づいて訓練されたモデルがより長いデータに当てはまるかどうかを反映する長さ一般化も考慮する必要がある。 これらの2つの概念は、主に別々に研究され、それらがどのように相互作用するかが解かれる。 本研究では,固定精度変圧器の両軸を共同処理する。 我々は、関連するモデルのパラメータサイズ、およびシーケンスを供給する量子化空間とアルファベットサイズの観点から、一般化を保証する。 最後に,サンプル数とトレーニング期間のトレードオフについて説明する。 特に, トレーニング長の増大は, サンプルサイズの増加よりも指数関数的に効果的であることが判明した。 実験は理論の予測を支持する。

関連論文リスト

• Quantitative Bounds for Length Generalization in Transformers [58.175107357008876]
  変圧器における長さ一般化(LG)問題について検討する。 LGは、長い列上の変圧器の内部挙動が短い列上の振舞いによって「シミュレート」できるときに発生する。
  論文  参考訳（メタデータ） (2025-10-30T21:31:36Z)
• Why Can't Transformers Learn Multiplication? Reverse-Engineering Reveals Long-Range Dependency Pitfalls [54.57326125204404]
  言語モデルはますます能力が高くなっているが、多桁乗算という一見単純なタスクではまだ失敗している。 直観的連鎖を通して乗法をうまく学習するモデルをリバースエンジニアリングすることでなぜ研究する。
  論文  参考訳（メタデータ） (2025-09-30T19:03:26Z)
• Too Big to Think: Capacity, Memorization, and Generalization in Pre-Trained Transformers [0.0]
  大規模言語モデルにおける記憶と一般化の関係について検討する。 小さなモデルは未確認の算術の場合に外挿するが、事実を記憶できないが、大きなモデルは記憶するが外挿することができない。 調査の結果、事前学習は本質的に他の学習モードよりも1つの学習モードを好む可能性が示唆された。
  論文  参考訳（メタデータ） (2025-06-10T14:49:33Z)
• Compute-Optimal LLMs Provably Generalize Better With Scale [102.29926217670926]
  我々は,大規模言語モデル(LLM)の事前学習目標に基づく一般化境界を開発する。 損失関数の分散を考慮し, 既存の境界を緩める, 完全経験的フリードマン型マルティンゲール濃度を導入する。 我々は一般化ギャップのスケーリング法則を作成し、その境界はスケールによって予測的に強くなる。
  論文  参考訳（メタデータ） (2025-04-21T16:26:56Z)
• On Vanishing Variance in Transformer Length Generalization [23.706900145711913]
  また,今日のフロンティアモデルにおいても,より長いシーケンス長はマルチヘッドアテンションモジュールの出力のばらつきを減少させることを示した。 分析では, この改善は分散の消失による分布シフトを完全に排除したものではないものの, 削減したと考えられる。
  論文  参考訳（メタデータ） (2025-04-03T17:59:56Z)
• The Role of Sparsity for Length Generalization in Transformers [58.65997625433689]
  そこで本研究では,次の予測課題に対する長さの一般化を研究するための理論的枠組みを提案する。 予測された各トークンが前のトークンの小さな(固定された)数に依存する限り、長さの一般化が生じることを示す。 本稿では,位置結合手法で使用する位置IDを予測するために,変圧器を訓練する予測位置結合を導入する。
  論文  参考訳（メタデータ） (2025-02-24T03:01:03Z)
• In-Context Learning with Representations: Contextual Generalization of Trained Transformers [66.78052387054593]
  In-context Learning (ICL) は、事前訓練された大規模言語モデルの能力を指し、推論中にいくつか例を挙げると、新しいタスクを学習できる。 本稿では,非線形回帰タスクのレンズによる勾配降下による変圧器のトレーニングダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2024-08-19T16:47:46Z)
• Transformers Can Achieve Length Generalization But Not Robustly [76.06308648699357]
  長さ一般化の成功は,データ形式や位置エンコーディングのタイプと密接に関連していることを示す。 標準変換器が入力長の2.5倍のシーケンス長に外挿できることを初めて示す。
  論文  参考訳（メタデータ） (2024-02-14T18:18:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。