論文の概要: The Role of Sparsity for Length Generalization in Transformers

• arxiv url: http://arxiv.org/abs/2502.16792v1
• Date: Mon, 24 Feb 2025 03:01:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:27.717000
• Title: The Role of Sparsity for Length Generalization in Transformers
• Title（参考訳）: 変圧器の長大一般化における空間性の役割
• Authors: Noah Golowich, Samy Jelassi, David Brandfonbrener, Sham M. Kakade, Eran Malach,
• Abstract要約: そこで本研究では,次の予測課題に対する長さの一般化を研究するための理論的枠組みを提案する。 予測された各トークンが前のトークンの小さな(固定された)数に依存する限り、長さの一般化が生じることを示す。 本稿では,位置結合手法で使用する位置IDを予測するために,変圧器を訓練する予測位置結合を導入する。
• 参考スコア（独自算出の注目度）: 58.65997625433689
• License:
• Abstract: Training large language models to predict beyond their training context lengths has drawn much attention in recent years, yet the principles driving such behavior of length generalization remain underexplored. We propose a new theoretical framework to study length generalization for the next-token prediction task, as performed by decoder-only transformers. Conceptually, we show that length generalization occurs as long as each predicted token depends on a small (fixed) number of previous tokens. We formalize such tasks via a notion we call $k$-sparse planted correlation distributions, and show that an idealized model of transformers which generalize attention heads successfully length-generalize on such tasks. As a bonus, our theoretical model justifies certain techniques to modify positional embeddings which have been introduced to improve length generalization, such as position coupling. We support our theoretical results with experiments on synthetic tasks and natural language, which confirm that a key factor driving length generalization is a ``sparse'' dependency structure of each token on the previous ones. Inspired by our theory, we introduce Predictive Position Coupling, which trains the transformer to predict the position IDs used in a positional coupling approach. Predictive Position Coupling thereby allows us to broaden the array of tasks to which position coupling can successfully be applied to achieve length generalization.
• Abstract（参考訳）: 大規模言語モデルを学習文脈を超えて予測する訓練は近年注目されているが、そのような長さ一般化の振る舞いを駆動する原理はいまだ解明されていない。 そこで本研究では,デコーダのみの変圧器を用いて,次点予測タスクにおける長さの一般化を研究するための新しい理論フレームワークを提案する。 概念的には、予測された各トークンが前のトークンの小さな(固定された)数に依存する限り、長さの一般化が生じる。 我々はそのようなタスクを$k$-sparseの植込み相関分布と呼ぶ概念で形式化し、注意を一般化する変換器の理想化されたモデルがそのようなタスクに対して長大な一般化に成功したことを示す。 この理論モデルでは, 位置結合など, 長さ一般化を改善するために導入された位置埋め込みを改良するための特定の手法を正当化する。 合成課題と自然言語に関する理論的結果をサポートし,各トークンの'sparse'依存性構造が,長さの一般化を駆動する重要な因子であることが確認された。 本理論に触発された予測位置結合(Predictive Position Coupling)を導入し,位置結合手法で使用する位置IDを予測するようにトランスフォーマーを訓練する。 これにより、予測位置結合により、位置結合をうまく適用できるタスクの配列を広げ、長さの一般化を実現することができる。

関連論文リスト

• Arithmetic Transformers Can Length-Generalize in Both Operand Length and Count [19.148785141454642]
  トランスフォーマーはしばしば長さの一般化に苦しむため、トレーニング中に遭遇したものよりも長いシーケンスに一般化できない。 本研究は,算術変換器で最初に達成された2～3倍の長さのタスクを一般化する。
  論文  参考訳（メタデータ） (2024-10-21T08:49:51Z)
• A Formal Framework for Understanding Length Generalization in Transformers [14.15513446489798]
  因果変換器における長さ一般化を解析するための厳密な理論的枠組みを導入する。 我々は,この理論を,アルゴリズムおよび形式言語タスクにおける長さ一般化の成功と失敗の予測器として実験的に検証した。
  論文  参考訳（メタデータ） (2024-10-03T01:52:01Z)
• Length Generalization of Causal Transformers without Position Encoding [59.802708262402824]
  より長い文への一般化は、最近のTransformerベースの言語モデルにとって重要である。 位置符号化を伴わない変圧器長一般化特性について検討する。 NoPEは、一般的に使われる明示的な位置エンコーディングよりも長いシーケンスに拡張できるが、コンテキスト長が制限されている。
  論文  参考訳（メタデータ） (2024-04-18T14:38:32Z)
• Transformers Can Achieve Length Generalization But Not Robustly [76.06308648699357]
  長さ一般化の成功は,データ形式や位置エンコーディングのタイプと密接に関連していることを示す。 標準変換器が入力長の2.5倍のシーケンス長に外挿できることを初めて示す。
  論文  参考訳（メタデータ） (2024-02-14T18:18:29Z)
• What Algorithms can Transformers Learn? A Study in Length Generalization [23.970598914609916]
  アルゴリズムタスクにおける長さ一般化の具体的設定におけるトランスフォーマーの能力の範囲について検討する。 具体的には、Transformerの計算モデル用に設計されたプログラミング言語であるRASPを利用する。 我々の研究は、構成一般化のメカニズムとトランスフォーマーのアルゴリズム能力に関する新しい視点を提供する。
  論文  参考訳（メタデータ） (2023-10-24T17:43:29Z)
• From Interpolation to Extrapolation: Complete Length Generalization for Arithmetic Transformers [7.011373967209572]
  対象の注意バイアスの助けを借りて,変圧器モデルを長大化することができることを示す。 ABC を用いて,変圧器モデルにより,ある種の算術課題において,前例のないほぼ完全長の一般化を達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-18T14:10:47Z)
• Improving Length-Generalization in Transformers via Task Hinting [42.95479331339189]
  特に、タスクで訓練された変換器モデルの性能は、同じ問題の長いインスタンスに適用した場合、急激に低下する。 本研究は,タスクヒントに基づく長さ一般化へのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-01T16:57:40Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• Measuring Generalization with Optimal Transport [111.29415509046886]
  我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。 我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
  論文  参考訳（メタデータ） (2021-06-07T03:04:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。