論文の概要: CoPE: A Lightweight Complex Positional Encoding

• arxiv url: http://arxiv.org/abs/2508.18308v1
• Date: Sat, 23 Aug 2025 08:02:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.513892
• Title: CoPE: A Lightweight Complex Positional Encoding
• Title（参考訳）: CoPE:軽量複合位置符号化
• Authors: Avinash Amballa,
• Abstract要約: コンテントと位置情報の両方をエンコードするために複素数値符号化を利用する新しいアーキテクチャであるCoPEを紹介する。 提案手法では,従来の位置エンコーディングを,実部が意味的コンテンツをキャプチャし,虚部が位置情報をエンコードする複雑な埋め込みに置き換える。 我々は,CoPEが長期劣化を示さず,線形注意と相容れないことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent studies have demonstrated the effectiveness of position encoding in transformer architectures. By incorporating positional information, this approach provides essential guidance for modeling dependencies between elements across different sequence positions. We introduce CoPE (a lightweight Complex Positional Encoding), a novel architecture that leverages complex-valued encoding to encode both content and positional information. Our approach replaces traditional positional encodings with complex embeddings where the real part captures semantic content and the imaginary part encodes positional information. We introduce phase-aware attention in the first layer of the transformer model to capture position-dependent patterns, followed by standard attention layers for higher-levels. We show that CoPE doesn't exhibit long term decay and is compatible with linear attention. Experimental evaluation on the GLUE benchmark suggest that our approach achieves superior performance with less computational complexity, compared to RoPE, Sinusoidal and Learned positional encodings.
• Abstract（参考訳）: 近年,トランスアーキテクチャにおける位置符号化の有効性が実証されている。 位置情報を組み込むことで、異なる配列位置にわたる要素間の依存関係をモデル化するための重要なガイダンスを提供する。 コンテント情報と位置情報の両方をエンコードするために、複素数値符号化を利用する新しいアーキテクチャであるCoPE(complex Positional Encoding)を導入する。 提案手法では,従来の位置エンコーディングを,実部が意味的コンテンツをキャプチャし,虚部が位置情報をエンコードする複雑な埋め込みに置き換える。 トランスモデルの第一層に位相認識型アテンションを導入して位置依存パターンを捉える。 我々は,CoPEが長期劣化を示さず,線形注意と相容れないことを示す。 GLUEベンチマークによる実験結果から,RoPEやSinusoidal,Learningedといった位置符号化に比べて計算量が少なく,優れた性能が得られることが示唆された。

関連論文リスト

• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• Learnable Spatial-Temporal Positional Encoding for Link Prediction [44.0907827498725]
  L-STEP という単純な時間リンク予測モデルを提案する。 L-STEPは、空間時間スペクトルの観点からグラフ特性を保存することができる。 L-STEPは最新の大規模TGBベンチマークで主要な性能を得る。
  論文  参考訳（メタデータ） (2025-06-10T00:35:53Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• PoPE: Legendre Orthogonal Polynomials Based Position Encoding for Large Language Models [0.0]
  Polynomial Based Positional Gonal (PoPE)は、オルソゴン伝説の位置情報を符号化する。 変換器モデルPoPEは、Multi30k$の英語-ドイツ語翻訳タスクでベースライン変換器モデルより優れていることを示す。 本稿では,PoPEの優れた性能に基づく位置符号化に関する新しい理論的視点を示す。
  論文  参考訳（メタデータ） (2024-04-29T10:30:59Z)
• Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation [69.68831888599476]
  そこで我々は,バイレベル位置符号化と呼ばれる新しい位置符号化法を開発した。 倫理的分析は、この位置情報の絡み合いが学習をより効果的にすることを示している。 私たちのBiPEは、多種多様なテキストモダリティにおいて、幅広いタスクにわたって、より優れた長さの補間機能を持っています。
  論文  参考訳（メタデータ） (2024-01-29T18:59:07Z)
• Trading Positional Complexity vs. Deepness in Coordinate Networks [33.90893096003318]
  代替の非フーリエ埋め込み関数が実際に位置符号化に利用できることを示す。 それらの性能は、組込み行列の安定ランクと組込み座標間の距離保存の間のトレードオフによって決定される。 我々は、より複雑な位置符号化 -- モードの数と指数関数的にスケールする -- を利用することは、同等のパフォーマンスを達成するために線形(ディープではなく)座標関数のみを必要とすると論じる。
  論文  参考訳（メタデータ） (2022-05-18T15:17:09Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。