論文の概要: Relative Positions Generalize, Absolute Positions Memorize: An Implicit-Bias Account of Length Generalization in Attention

• arxiv url: http://arxiv.org/abs/2607.18759v1
• Date: Tue, 21 Jul 2026 06:29:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.336549
• Title: Relative Positions Generalize, Absolute Positions Memorize: An Implicit-Bias Account of Length Generalization in Attention
• Title（参考訳）: 相対的な位置が一般化し、絶対的な位置が記憶される:注意点における長さの一般化に関する暗黙のバイアス
• Abstract要約: 相対的な位置エンコーディングを持つトランスフォーマーは、トレーニング中に見られるものよりも長いシーケンスに外挿することが多い。 回転符号化は、注意を相対オフセットのみの機能にすることを示す。 学習された絶対エンコーディングは、代わりに範囲外の位置を制約なく残し、訓練されたヘッドピンはトレーニング範囲内の固定された絶対位置に固定する。
• 参考スコア（独自算出の注目度）: 4.422349568747053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers with relative positional encodings often extrapolate to sequences longer than those seen during training, whereas transformers with learned absolute encodings typically do not. This is a robust empirical regularity, and the explanations offered for it so far are chiefly about expressivity, that is, about whether a length-generalizing solution exists. We give an optimization explanation. On a minimal fixed-offset retrieval task that isolates positional selection, the gap is governed by the implicit bias of the trained attention head: among the many solutions that fit short sequences, which one gradient descent actually selects. We prove that rotary encodings make the attention logit a function of relative offset alone, an exact equivariance, so whatever selection rule is learned at training lengths is reproduced verbatim at every longer length. Learned absolute encodings instead leave out-of-range positions unconstrained, and the trained head pins to a fixed absolute position inside the training range. We characterize the learned rotary rule as a low-rank ``carrier'' kernel aligned with the target offset, and we derive the resulting graceful accuracy decay as an attention-dilution law; both predictions are confirmed across seeds and offsets. A linear-attention control shows the mechanism is specific to softmax: without normalization, training selects a min-norm interpolant that does not extrapolate. The phenomenon, the equivariance, and the carrier all transfer to a multi-layer, multi-head transformer trained on a full-sequence length-generalization task. The account connects the implicit bias of attention, implicit bias for extrapolation in recurrent models, and the learning side of the RASP-L conjecture.
• Abstract（参考訳）: 相対的な位置エンコーディングを持つトランスフォーマーは、トレーニング中に見られるものよりも長いシーケンスに外挿することが多いが、学習された絶対エンコーディングを持つトランスフォーマーは通常そうではない。 これは堅牢な経験的正則であり、これまでに提示された説明は、主に表現性、すなわち、長さ一般化解が存在するかどうかに関するものである。 最適化の説明をします。 位置選択を分離する最小の固定オフセット検索タスクでは、ギャップは訓練された注意ヘッドの暗黙のバイアスによって制御される。 回転符号化は、注意を相対オフセットのみの関数、正確に同値にするので、トレーニング長で学習した選択規則は、長い長さ毎に冗長に再現される。 学習された絶対エンコーディングは、代わりに範囲外の位置を制約なく残し、訓練されたヘッドピンはトレーニング範囲内の固定された絶対位置に固定する。 我々は、学習された回転則を、目標オフセットと一致した低ランクの ``carrier'' カーネルとして特徴付け、結果の優雅な精度減衰を注意希釈法として導出する。 線形アテンション制御は、そのメカニズムがソフトマックスに特有のものであることを示す:正規化なしで、トレーニングは外挿しないmin-norm補間剤を選択する。 この現象、等分散、キャリアはすべて、全列長一般化タスクで訓練された多層マルチヘッドトランスに転送される。 この説明は、注意の暗黙の偏見、反復モデルにおける外挿に対する暗黙の偏見、RASP-L予想の学習面を結びつけている。

関連論文リスト

• Distance generalization in transformers: why bother with positional encoding? [1.7188280334580195]
  本研究では,距離一般化に着目し,学習と推論の間に距離が変化した場合のパフォーマンスを探索する。 本研究では,ソースとリコール間の有限距離を含む2つの合成遅延コピータスクと,トレーニング中に見つからない遅延に関するテストモデルを構築した。
  論文  参考訳（メタデータ） (2026-09-10T17:57:19Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• From Shortcut to Induction Head: How Data Diversity Shapes Algorithm Selection in Transformers [67.02076505996284]
  本研究では, 事前学習したデータ分布の選択が, 浅層変圧器を一方の行動に向ける方法について検討する。 その結果,事前学習したトランスフォーマーのアルゴリズム的バイアスに光を当て,学習行動のデータ駆動制御に関する概念的ガイドラインを提供することができた。
  論文  参考訳（メタデータ） (2025-12-21T08:10:26Z)
• Quantitative Bounds for Length Generalization in Transformers [58.175107357008876]
  変圧器における長さ一般化(LG)問題について検討する。 LGは、長い列上の変圧器の内部挙動が短い列上の振舞いによって「シミュレート」できるときに発生する。
  論文  参考訳（メタデータ） (2025-10-30T21:31:36Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• Position as Probability: Self-Supervised Transformers that Think Past Their Training for Length Extrapolation [0.0]
  PRISMは、トランスフォーマーがトレーニング長の10倍まで正確に外挿できる新しい位置符号化機構である。 解析により、PRISMの位置エンコーディングは鋭く解釈可能な内部状態を維持しており、信頼性のある長さ一般化の理論的基礎となっていることが示された。
  論文  参考訳（メタデータ） (2025-06-01T09:20:44Z)
• Context-aware Biases for Length Extrapolation [0.19116784879310025]
  長さ補間のための付加的RPE, コンテキスト認識バイアス(CABLE)を提案する。 CABLEはトークン固有のコンテキスト認識バイアスをトランスフォーマーで学習する。 提案手法は,FineWeb-Edu-10BおよびWikiText-103データセット上でテストされた既存のRPE手法の性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-03-11T05:54:58Z)
• The Role of Sparsity for Length Generalization in Transformers [58.65997625433689]
  そこで本研究では,次の予測課題に対する長さの一般化を研究するための理論的枠組みを提案する。 予測された各トークンが前のトークンの小さな(固定された)数に依存する限り、長さの一般化が生じることを示す。 本稿では,位置結合手法で使用する位置IDを予測するために,変圧器を訓練する予測位置結合を導入する。
  論文  参考訳（メタデータ） (2025-02-24T03:01:03Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。