論文の概要: Distance generalization in transformers: why bother with positional encoding?

• arxiv url: http://arxiv.org/abs/2609.11913v1
• Date: Thu, 10 Sep 2026 17:57:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.481944
• Title: Distance generalization in transformers: why bother with positional encoding?
• Title（参考訳）: 変圧器における距離一般化 : なぜ位置符号化に悩むのか?
• Abstract要約: 本研究では,距離一般化に着目し,学習と推論の間に距離が変化した場合のパフォーマンスを探索する。 本研究では,ソースとリコール間の有限距離を含む2つの合成遅延コピータスクと,トレーニング中に見つからない遅延に関するテストモデルを構築した。
• 参考スコア（独自算出の注目度）: 1.7188280334580195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-distribution length generalization, namely to extrapolate a task from short to longer context, has been studied intensively for transformers. Here we focus on distance generalization, which probes performance when inter-token distances are changed between training and inference, while keeping a fixed context length. We construct two synthetic delay copy tasks, both involving finite distances between source and recall, where tokens are copied either fully or selectively, and test models on delays unseen during training. We address three questions: (A) Do positional encoding schemes such as RoPE and ALiBi improve distance resolution relative to no positional encoding (NoPE)? (B) How does data diversity, the number of inter-token distances seen in training, affect performance? (C) When is distance transfer learning positive or negative? We present a thorough investigation, finding that it is paramount to improve our understanding of the underlying mechanisms.
• Abstract（参考訳）: アウト・オブ・ディストリビューション長一般化(Out-of-distriion length generalization)、すなわち、タスクを短いコンテキストから長いコンテキストに外挿するために、トランスフォーマーに対して集中的に研究されている。 ここでは,距離汎化に着目し,トレーニングと推論の間に距離が変化した場合のパフォーマンスを,一定の文脈長を維持しながら探索する。 筆者らは2つの合成遅延コピータスクを構築し、ソースとリコール間の有限距離の両方でトークンを完全または選択的にコピーし、トレーニング中に見つからない遅延のモデルをテストする。 A) RoPE や ALiBi のような位置符号化スキームは、位置符号化(NoPE)に比較して距離分解能を向上させるか? (B)データ多様性は、トレーニングで見るトークン間距離の数、パフォーマンスにどのように影響しますか? (C) 距離移動学習は正か負か? 本研究は, 基礎となるメカニズムの理解を深めることが最重要であるという, 徹底的な調査を提示する。

関連論文リスト

• Relative Positions Generalize, Absolute Positions Memorize: An Implicit-Bias Account of Length Generalization in Attention [4.422349568747053]
  相対的な位置エンコーディングを持つトランスフォーマーは、トレーニング中に見られるものよりも長いシーケンスに外挿することが多い。 回転符号化は、注意を相対オフセットのみの機能にすることを示す。 学習された絶対エンコーディングは、代わりに範囲外の位置を制約なく残し、訓練されたヘッドピンはトレーニング範囲内の固定された絶対位置に固定する。
  論文  参考訳（メタデータ） (2026-07-21T06:29:10Z)
• Learning the Koopman Operator using Attention Free Transformers [0.3848364262836075]
  クープマン予測をより堅牢にする2つの相補的成分を導入する。 まず注意のない潜伏メモリ(AFT)ブロックを追加し、過去の潜伏者の短いウィンドウを集約し、クープマンの更新毎に修正潜伏者を生成する。 第二に、動的再符号化: 遅延ドリフトとプロジェクト予測を自動エンコーダ多様体に戻す、軽量でオンラインな変更点トリガを提案する。
  論文  参考訳（メタデータ） (2026-06-22T21:36:55Z)
• Improving Robotic Imitation Learning via Trajectory Standardization [7.969825103657315]
  一般的な前処理戦略は、時間一様ダウンサンプリングでシーケンスを短くするが、速度による非一様性や冗長な停止を効果的に除去することはできない。 本稿では,効果的な模倣学習のためのオフライン前処理手法であるISRを提案する。 ISRはタスク成功率を約25%改善し、さまざまなオペレータから収集されたデータセット間で堅牢であり、データセットサイズとトレーニングコストの両方を削減する。
  論文  参考訳（メタデータ） (2026-06-22T06:46:26Z)
• TAD: Temporal-Aware Trajectory Self-Distillation for Fast and Accurate Diffusion LLM [18.69783590125584]
  拡散大言語モデル(dLLM)は、並列テキスト生成に有望なパラダイムを提供する。 彼らは精度のパラレルなトレードオフに直面しており、1フォワード当たりのトークンの増加は世代品質を劣化させることが多い。 既存の加速法は精度を犠牲にして速度を上げることが多い。 本稿では, 時間認識型自己蒸留フレームワークTADを提案する。
  論文  参考訳（メタデータ） (2026-05-10T13:38:53Z)
• How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
  我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。 我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
  論文  参考訳（メタデータ） (2025-05-02T00:07:35Z)
• Context-aware Biases for Length Extrapolation [0.19116784879310025]
  長さ補間のための付加的RPE, コンテキスト認識バイアス(CABLE)を提案する。 CABLEはトークン固有のコンテキスト認識バイアスをトランスフォーマーで学習する。 提案手法は,FineWeb-Edu-10BおよびWikiText-103データセット上でテストされた既存のRPE手法の性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-03-11T05:54:58Z)
• Transformers Can Achieve Length Generalization But Not Robustly [76.06308648699357]
  長さ一般化の成功は,データ形式や位置エンコーディングのタイプと密接に関連していることを示す。 標準変換器が入力長の2.5倍のシーケンス長に外挿できることを初めて示す。
  論文  参考訳（メタデータ） (2024-02-14T18:18:29Z)
• A Length-Extrapolatable Transformer [98.54835576985664]
  長さ外挿、すなわち短いテキストのトレーニングに焦点をあて、長いシーケンスを評価します。 注目度を最大化するために,相対的な位置埋め込みを導入する。 言語モデルを用いてトランスフォーマーの変種を評価する。
  論文  参考訳（メタデータ） (2022-12-20T18:56:20Z)
• Dissecting Transformer Length Extrapolation via the Lens of Receptive Field Analysis [72.71398034617607]
  我々は、相対的な位置埋め込み設計であるALiBiを受容場解析のレンズで識別する。 バニラ正弦波位置埋め込みを修正してbftextを作成する。これはパラメータフリーな相対的位置埋め込み設計であり、真の長さ情報はトレーニングシーケンスよりも長くなる。
  論文  参考訳（メタデータ） (2022-12-20T15:40:17Z)
• Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search [84.94597821711808]
  我々は,PoWER-BERT(Goyal et al., 2020)を拡張し,一発訓練後に様々な推論シナリオに使用できる長適応変換器を提案する。 我々は,任意の計算予算の下で,精度を最大化し,効率の指標を最小化する長さ構成を求めるために,多目的進化探索を行う。 提案手法の有効性を実証的に検証し,各種設定下での精度・効率のトレードオフを実証する。
  論文  参考訳（メタデータ） (2020-10-14T12:28:08Z)
• DA-Transformer: Distance-aware Transformer [87.20061062572391]
  DA-Transformerは、実際の距離を利用することができる距離対応トランスである。 本稿では,実距離を利用した距離認識変換器であるDA-Transformerを提案する。
  論文  参考訳（メタデータ） (2020-10-14T10:09:01Z)
• Learning Invariant Representations for Reinforcement Learning without Reconstruction [98.33235415273562]
  本研究では,表現学習が画像などのリッチな観察からの強化学習を,ドメイン知識や画素再構成に頼ることなく促進する方法について検討する。 シミュレーションメトリクスは、連続MDPの状態間の振る舞いの類似性を定量化する。 修正された視覚的 MuJoCo タスクを用いてタスク関連情報を無視する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-18T17:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。