論文の概要: How Local Mixing Encodes Relative Position in Global NoPE Attention

• arxiv url: http://arxiv.org/abs/2609.38109v1
• Date: Tue, 29 Sep 2026 17:47:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.8072
• Title: How Local Mixing Encodes Relative Position in Global NoPE Attention
• Title（参考訳）: グローバルなNOPE注意における局所混合の相対的位置のエンコード方法
• Abstract要約: 位置情報は自然言語の基本です スライディングウィンドウアテンション(SWA)やゲート線形アテンションなどの局所混合層をインターリーブする最近の手法は大規模に成功している。 我々は,SWAとゲート線形アテンションは,グローバルアテンションロジットによって伝播し,選択される残差ストリームの傾向バイアスを誘導すると主張している。
• 参考スコア（独自算出の注目度）: 8.033924711399868
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The attention operation is naively position invariant. However, positional information is fundamental to natural language, and therefore a variety of explicit position encodings have been developed in transformer-based models, such as rotary position encoding (RoPE). Although explicit position encodings have long been assumed to be required, recent methods that interleave local mixing layers, such as sliding window attention (SWA) and gated linear attention, while not encoding position (NoPE) in global attention layers has recently been shown to be successful at scale. How and why this approach works is not well-understood. In this paper, we develop an explanation of how hybrid models of this sort can implicitly encode position at global NoPE layers. Supported by both theoretical and empirical evidence, our central argument is that SWA and gated linear attention induce a recency bias in the residual stream that propagates to, and is selected by, the global attention logits. Moreover, in contrast to the implicit position encodings found in models with only global NoPE attention, in which positional information arises solely from the causal mask, the recency bias in hybrid models can be maintained across long sequences. In addition to deepening our understanding of how hybrid models encode position, these findings may provide insights for how to encode position in a way that can extrapolate to longer sequence lengths indefinitely.
• Abstract（参考訳）: 注意操作は内在的位置不変である。 しかし、位置情報は自然言語の基本であるため、回転位置符号化(RoPE)のようなトランスフォーマーベースモデルでは、様々な明示的な位置符号化が開発されている。 明示的な位置符号化は長年必要とされてきたが,近年ではスライディングウィンドウアテンション (SWA) やゲート線形アテンション (ゲート線形アテンション) などの局所混合層をインターリーブする手法が提案されている。 このアプローチの仕組みと理由はよく理解されていない。 本稿では,グローバルなNoPE層における位置を暗黙的に符号化する手法について述べる。 理論的および経験的証拠の両方で支持された我々の中心的主張は、SWAとゲートされた線形注意は、グローバルな注意ログに伝播し、選択される残留ストリームの回帰バイアスを誘導するということである。 さらに、大域的NoPEのみに着目したモデルで見られる暗黙的な位置符号化とは対照的に、位置情報は因果マスクからのみ発生し、ハイブリッドモデルの傾向バイアスは長いシーケンスにわたって維持することができる。 これらの発見は、ハイブリッドモデルがどのように位置をエンコードするかの理解を深めるだけでなく、長い列の長さに無期限に外挿できる方法で位置をエンコードする方法の洞察を与えるかもしれない。

関連論文リスト

• Mitigating Coordinate Prediction Bias from Positional Encoding Failures [31.63900089866925]
  高解像度入力は、位置エンコーディングを弱める長いトークンシーケンスを生成することで、この困難を悪化させる。 我々は、視覚的位置エンコーディングがシャッフルによって意図的に摂動されるとき、MLLMがどのように振る舞うかを分析する。 本研究では,これらのバイアスの方向特性を利用したトレーニング不要なテストタイム手法であるビジョン-PEシャッフルガイダンス(VPSG)を提案する。
  論文  参考訳（メタデータ） (2025-10-25T00:58:47Z)
• CoPE: A Lightweight Complex Positional Encoding [0.0]
  コンテントと位置情報の両方をエンコードするために複素数値符号化を利用する新しいアーキテクチャであるCoPEを紹介する。 提案手法では,従来の位置エンコーディングを,実部が意味的コンテンツをキャプチャし,虚部が位置情報をエンコードする複雑な埋め込みに置き換える。 我々は,CoPEが長期劣化を示さず,線形注意と相容れないことを示す。
  論文  参考訳（メタデータ） (2025-08-23T08:02:07Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• DAPE: Data-Adaptive Positional Encoding for Length Extrapolation [60.18239094672938]
  位置符号化はトランスにおいて重要な役割を担い、モデル性能と一般化長に大きな影響を及ぼす。 本研究では,訓練された長さと長さの一般化の観点からモデル性能を向上させるDAPE法を提案する。 提案手法は, 他の静的位置符号化法と比較して, シーケンス長128でモデルをトレーニングし, 評価シーケンス長8192で性能を向上する。
  論文  参考訳（メタデータ） (2024-05-23T15:51:24Z)
• Learning Signed Hyper Surfaces for Oriented Point Cloud Normal Estimation [53.19926259132379]
  我々は,符号付きハイパー曲面の学習による点雲の向きの正規分布推定のためのSHS-Netと呼ばれる新しい手法を提案する。 符号付き超曲面は、局所的および大域的な情報を集約する高次元特徴空間において暗黙的に学習される。 注意重み付き正規予測モジュールをデコーダとして提案し,局所およびグローバル潜時符号を入力として向きの正規を推定する。
  論文  参考訳（メタデータ） (2023-05-10T03:40:25Z)
• Transformer Language Models without Positional Encodings Still Learn Positional Information [45.42248458957122]
  明確な位置エンコーディングのないトランスフォーマー言語モデルは、標準モデルと競合する。 因果的注意により、各トークンが出席できる前任者の数を推測することができ、従って絶対的な位置を近似することができると推測する。
  論文  参考訳（メタデータ） (2022-03-30T19:37:07Z)
• Positional Encoding as Spatial Inductive Bias in GANs [97.6622154941448]
  SinGANは限られた有効な受容器分野にもかかわらず内部パッチ配分の学習の印象的な機能を示します。 本研究では,発電機のパディングゼロ時における暗黙的位置符号化によって,このような能力が大幅にもたらされることを示した。 本稿では,新しいマルチスケール学習戦略を提案し,その効果を最新型無条件発電機stylegan2で実証する。
  論文  参考訳（メタデータ） (2020-12-09T18:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。