論文の概要: ExPe: Exact Positional Encodings for Generative Transformer Models with Extrapolating Capabilities

• arxiv url: http://arxiv.org/abs/2509.19569v1
• Date: Tue, 23 Sep 2025 20:51:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.605127
• Title: ExPe: Exact Positional Encodings for Generative Transformer Models with Extrapolating Capabilities
• Title（参考訳）: ExPe:外挿機能を有する生成変圧器モデルのための正確な位置エンコーディング
• Authors: Aleksis Datseris, Sylvia Vassileva, Ivan Koychev, Svetla Boytcheva,
• Abstract要約: 本稿では,Exact Positional Embeddings (ExPE) と呼ばれる変圧器モデルにおける位置埋め込みの新しい手法を提案する。 提案手法は,埋め込みベクトルの特定の次元をオーバーライドすることで,正確な位置情報を符号化する新しい埋め込み戦略を利用する。 因果言語モデルでは,ExPEの埋め込みは,トレーニングで使用したものよりも長いシーケンスでテストした場合,回転や正弦波の埋め込みに比べて難易度が著しく低下する。
• 参考スコア（独自算出の注目度）: 3.4293828076481496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel approach to position embeddings in transformer models, named "Exact Positional Embeddings" (ExPE). An absolute positional embedding method that can extrapolate to sequences of lengths longer than the ones it was trained on. Traditional transformer models rely on absolute or relative position embeddings to incorporate positional information into token embeddings, which often struggle with extrapolation to sequences longer than those seen during training. Our proposed method utilizes a novel embedding strategy that encodes exact positional information by overriding specific dimensions of the embedding vectors, thereby enabling a more precise representation of token positions. The proposed approach not only maintains the integrity of the original embeddings but also enhances the model's ability to generalize to more extended sequences. In causal language modeling, our ExPE embeddings significantly reduce perplexity compared to rotary and sinusoidal embeddings, when tested on sequences longer than those used in training.
• Abstract（参考訳）: 本稿では,Exact Positional Embeddings (ExPE) と呼ばれる変圧器モデルにおける位置埋め込み手法を提案する。 絶対的な位置埋め込み法は、トレーニングされたものよりも長い長さの列に外挿することができる。 伝統的なトランスフォーマーモデルは、絶対的または相対的な位置埋め込みに依存して、トークン埋め込みに位置情報を組み込むが、多くの場合、トレーニング中に見られるものよりも長いシーケンスへの外挿に苦しむ。 提案手法は, 埋め込みベクトルの特定の次元をオーバーライドすることで, 正確な位置情報を符号化する新しい埋め込み方式を用いて, トークン位置のより正確な表現を可能にする。 提案手法は、元の埋め込みの完全性を維持するだけでなく、より拡張シーケンスに一般化するモデルの能力を高める。 因果言語モデルでは,ExPEの埋め込みは,トレーニングで使用したものよりも長いシーケンスでテストした場合,回転や正弦波の埋め込みに比べて難易度が著しく低下する。

関連論文リスト

• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings [68.61185138897312]
  凍結変圧器言語モデルでは,自己意図の分散を縮小することにより,強い位置情報を符号化する。 本研究は, 位置埋め込みを廃止する決定を正当化し, トランスフォーマー言語モデルのより効率的な事前学習を容易にすることに役立つ。
  論文  参考訳（メタデータ） (2023-05-23T01:03:40Z)
• A Frustratingly Easy Improvement for Position Embeddings via Random Padding [68.75670223005716]
  本稿では,既存の事前学習型言語モデルを変更することなく,シンプルかつ効果的なランダムパディング手法を提案する。 実験により、ランダムパディングは、応答が後位置にあるインスタンスのモデル性能を著しく改善できることが示された。
  論文  参考訳（メタデータ） (2023-05-08T17:08:14Z)
• Dissecting Transformer Length Extrapolation via the Lens of Receptive Field Analysis [72.71398034617607]
  我々は、相対的な位置埋め込み設計であるALiBiを受容場解析のレンズで識別する。 バニラ正弦波位置埋め込みを修正してbftextを作成する。これはパラメータフリーな相対的位置埋め込み設計であり、真の長さ情報はトレーニングシーケンスよりも長くなる。
  論文  参考訳（メタデータ） (2022-12-20T15:40:17Z)
• CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings [33.87449556591022]
  絶対位置埋め込みのための拡張型アプローチ(CAPE)を提案する。 CAPEは絶対(単純さと速度)と相対的な位置埋め込み(一般化)の両方の利点を保っている。
  論文  参考訳（メタデータ） (2021-06-06T14:54:55Z)
• Improve Transformer Models with Better Relative Position Embeddings [18.59434691153783]
  トランスフォーマーアーキテクチャは、単語順序の概念を維持するために明示的な位置符号化に依存している。 既存の作業は位置情報を十分に活用していないと我々は主張する。 本稿では,クエリ,キー,相対的な位置埋め込みの相互作用を促進する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T22:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。