論文の概要: Where does Absolute Position come from in decoder-only Transformers?

• arxiv url: http://arxiv.org/abs/2606.06160v1
• Date: Thu, 04 Jun 2026 13:32:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.822141
• Title: Where does Absolute Position come from in decoder-only Transformers?
• Title（参考訳）: デコーダのみのトランスでは絶対位置はどこから来るのか?
• Abstract要約: RoPEが学習した変換器は、内部積の相対オフセットのみを符号化しているにもかかわらず、注意パターンにおける絶対位置を区別する。 このリークを、因果マスクと残留ストリームの2つのアーキテクチャコンポーネントにトレースする。 NTKスケーリングは残留流成分を抑制し、スライディング・ウインドウ・アテンションは深度で蓄積し、標準のRoPEは中間に位置する。
• 参考スコア（独自算出の注目度）: 14.020291084272364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RoPE-trained transformers distinguish absolute position in their attention patterns, even though RoPE encodes only relative offsets in the inner product. We trace this leakage to two architectural components, The causal mask is responsible for the first: its per-query softmax denominator depends on the absolute query position by construction. The residual stream supplies the second. Under causal attention the activation at position $0$ attends only to itself and runs as a closed dynamical system from the embedding of the token at that position; downstream attention reads this trajectory through sink-reading heads. Both components appear in all three architectures we study, in architecturally specific balance: NTK scaling suppresses the residual-stream component, sliding-window attention allows it to accumulate with depth, and standard RoPE sits between. Replacing the \texttt{BOS} embedding before the forward pass removes $40\%$ of the residual-stream component at early queries. Attention sinks are token-anchored stabilizers that pass forward a deterministic fingerprint of the token at position $0$, constant across inputs when that token is the auto-prepended \texttt{BOS} and varying with it otherwise.
• Abstract（参考訳）: RoPEが学習した変換器は、内部積の相対オフセットのみを符号化しているにもかかわらず、注意パターンにおける絶対位置を区別する。 因果マスクは、クエリごとのソフトマックス分母(Softmax denominator)は、構築による絶対的なクエリ位置に依存する。 残留ストリームは2番目のストリームを供給します。 因果的注意の下では、0$の位置でのアクティベーションはそれ自体にのみ参加し、その位置でのトークンの埋め込みから閉じた力学系として実行される。 NTKスケーリングは残留ストリームコンポーネントを抑圧し、スライディングウィンドウアテンションは深さとともに蓄積し、標準のRoPEは中間に位置する。 フォワードパスの前に \texttt{BOS} 埋め込みをリプレースすると、初期のクエリで残留ストリームコンポーネントの $40\% が取り除かれる。 アテンションシンクはトークンの決定論的指紋を$0$で転送するトークンアンコール安定化器で、トークンが自動予測された \texttt{BOS} であり、それ以外は変化しない。

関連論文リスト

• Content-Based Addressing for Long Context [0.0]
  RoPE(Rotary position embedded)は、各トークンの整数位置を用いて、注意の中に適用される回転を決定する。 これは、ローカルトークンの順序でうまく機能するが、コンテキスト長の増大は、位置的トレインテストのミスマッチを生成する。 代わりにトークンストリームを単位に分割し、通常のRoPE位置を各単位内に保持し、そのコンテンツから計算されたアドレスを全ての完了単位に割り当てます。
  論文  参考訳（メタデータ） (2026-09-07T10:33:44Z)
• Fingerprint, Not Blueprint: How Positional Schemes Set the Default Spectral Algebra of Attention [1.7042264000899534]
  最強の先行頭頂部は、RoPEの下でスペクトル回転していることを示す。 また、公開ピティアチェックポイントでは、すべてのヘッドがランダム行列(ジニブレ) null に起源を持つことを示す。 検討された設定の中で、位置スキームはアテンションヘッドの解のデフォルトスペクトル代数を設定する。
  論文  参考訳（メタデータ） (2026-07-07T10:17:30Z)
• RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways [52.94485753759119]
  RoPE(Rotary Position Embeddings)は、位置相対的だが、位置盲点を残している。 本稿では,キーを同時に回転させることにより,パラメータフリーな値に感応性を持たせるRoVEを提案し,RoPEの注意を注意的畳み込みに変換することを示す。
  論文  参考訳（メタデータ） (2026-06-09T09:56:50Z)
• Attention Sinks in Diffusion Transformers: A Causal Analysis [1.9336815376402718]
  テキスト・画像拡散における因果解析について述べる。 我々は,時間経過毎に主観的注意を抽出し,ペアによる無訓練介入によって抑制する。 抑制によって引き起こされる知覚の変化は、いずれにせよ、Emphsink固有の -- $sim!6times$等予算のランダムマスクよりも大きい。
  論文  参考訳（メタデータ） (2026-05-10T04:14:07Z)
• SinkTrack: Attention Sink based Context Anchoring for Large Language Models [57.87121346197518]
  大型言語モデル (LLM) は幻覚やコンテキストの忘れに悩まされる。 SinkTrackはBOS>を情報アンカーとして扱い、キーコンテキストの機能をその表現に注入する。 SinkTrackはトレーニング不要で、プラグイン&プレイで、無視可能な推論オーバーヘッドを導入している。
  論文  参考訳（メタデータ） (2026-04-11T04:49:11Z)
• Residual Stream Duality in Modern Transformer Architectures [9.910562011343009]
  最近の研究により、残留経路は単なる最適化配管ではなく、モデルの表現機械の一部であることが明らかになった。 このデザイン空間を整理する最もクリーンな方法は、Transformerの2軸ビューである、と私たちは主張する。
  論文  参考訳（メタデータ） (2026-03-17T00:56:29Z)
• Stem: Rethinking Causal Information Flow in Sparse Attention [28.46760179998361]
  本稿では,情報フローに整合した新しいプラグアンドプレイスペースモジュールであるStemを提案する。 まず、StemはToken Position-Decay戦略を採用し、各レイヤ内で位置依存のトップkを適用して初期トークンを保持する。 次に、情報豊富なトークンを保存するために、StemはOutput-Aware Metricを使用する。
  論文  参考訳（メタデータ） (2026-03-06T13:33:29Z)
• Untwisting RoPE: Frequency Control for Shared Attention in DiTs [84.14005261938284]
  位置符号化はトランスフォーマーベースの生成モデルに不可欠である。 ロータリー・ポジショナル・エンベディング (RoPE) は, 異なる位置感性を有する周波数成分に自然に分解されることを示す。 本稿では,厳密な位置アライメントよりも意味的類似性を反映するように,RoPE周波数帯域を選択的に変調する手法を提案する。
  論文  参考訳（メタデータ） (2026-02-04T20:01:59Z)
• Selective Rotary Position Embedding [84.22998043041198]
  テキストインプットに依存した回転型埋め込み機構であるtextitSelective RoPE を導入する。 我々は,問合せキー対上で,これらの回転の隠れ形式を,ソフトマックスアテンションがすでに実行していることを示す。 入力依存回転が言語モデルの性能を向上させることを実証し, ゲートトランスフォーマーにtextitSelective RoPE を組み込むことにより, 本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-11-21T16:50:00Z)
• Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings [29.421443764865003]
  本稿では,RoPEの回転位置埋め込みにおいて,何とどこで絡み合っているのかを解析する。 本稿では,Polar Coordinate Position Embeddings(PoPE)と呼ばれるRoPEの改良を提案する。
  論文  参考訳（メタデータ） (2025-09-05T14:22:27Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。