論文の概要: PaTH Attention: Position Encoding via Accumulating Householder Transformations

• arxiv url: http://arxiv.org/abs/2505.16381v1
• Date: Thu, 22 May 2025 08:36:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.151826
• Title: PaTH Attention: Position Encoding via Accumulating Householder Transformations
• Title（参考訳）: PaTH注意: 累積世帯変換による位置符号化
• Authors: Songlin Yang, Yikang Shen, Kaiyue Wen, Shawn Tan, Mayank Mishra, Liliang Ren, Rameswar Panda, Yoon Kim,
• Abstract要約: PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
• 参考スコア（独自算出の注目度）: 56.32365080761523
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The attention mechanism is a core primitive in modern large language models (LLMs) and AI more broadly. Since attention by itself is permutation-invariant, position encoding is essential for modeling structured domains such as language. Rotary position encoding (RoPE) has emerged as the de facto standard approach for position encoding and is part of many modern LLMs. However, in RoPE the key/query transformation between two elements in a sequence is only a function of their relative position and otherwise independent of the actual input. This limits the expressivity of RoPE-based transformers. This paper describes PaTH, a flexible data-dependent position encoding scheme based on accumulated products of Householder(like) transformations, where each transformation is data-dependent, i.e., a function of the input. We derive an efficient parallel algorithm for training through exploiting a compact representation of products of Householder matrices, and implement a FlashAttention-style blockwise algorithm that minimizes I/O cost. Across both targeted synthetic benchmarks and moderate-scale real-world language modeling experiments, we find that PaTH demonstrates superior performance compared to RoPE and other recent baselines.
• Abstract（参考訳）: 注目メカニズムは、現代の大規模言語モデル(LLM)とAIにおいて、より広い範囲において、中核的なプリミティブである。 注意そのものが置換不変であるため、位置符号化は言語などの構造化ドメインをモデル化するのに不可欠である。 ロータリー位置符号化(RoPE)は、位置符号化のデファクトスタンダードアプローチとして登場し、多くの現代のLCMの一部である。 しかし、RoPEでは、シーケンス内の2つの要素間のキー/クエリ変換は相対的な位置の関数であり、それ以外は実際の入力とは独立である。 これにより、RoPEベースのトランスの表現性が制限される。 本稿では,データ依存型位置符号化方式であるPaTHについて述べる。 I/O コストを最小限に抑えた FlashAttention スタイルのブロックワイズアルゴリズムを実装した。 ターゲットとなる合成ベンチマークと中規模実世界の言語モデリング実験の両方において、PaTHはRoPEや他の最近のベースラインと比較して優れた性能を示す。

関連論文リスト

• Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding [89.52931576290976]
  トランスフォーマーは、コンテンツベースと位置ベースのアドレッシングメカニズムの両方に依存して予測を行う。 TAPEは、レイヤ間のシーケンスコンテンツを組み込むことで、位置埋め込みを強化する新しいフレームワークである。 提案手法は,パラメータ効率の良い微調整を最小限のオーバーヘッドで実現し,事前学習した変換器に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-01-01T03:23:00Z)
• DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
  我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。 様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
  論文  参考訳（メタデータ） (2024-10-07T07:21:49Z)
• PoPE: Legendre Orthogonal Polynomials Based Position Encoding for Large Language Models [0.0]
  Polynomial Based Positional Gonal (PoPE)は、オルソゴン伝説の位置情報を符号化する。 変換器モデルPoPEは、Multi30k$の英語-ドイツ語翻訳タスクでベースライン変換器モデルより優れていることを示す。 本稿では,PoPEの優れた性能に基づく位置符号化に関する新しい理論的視点を示す。
  論文  参考訳（メタデータ） (2024-04-29T10:30:59Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• Rethinking and Improving Relative Position Encoding for Vision Transformer [61.559777439200744]
  リレーショナル位置符号化(RPE)は、トランスフォーマーが入力トークンのシーケンス順序をキャプチャする上で重要である。 画像RPE(iRPE)と呼ばれる2次元画像専用の新しい相対的位置符号化法を提案する。
  論文  参考訳（メタデータ） (2021-07-29T17:55:10Z)
• Conformer-based End-to-end Speech Recognition With Rotary Position Embedding [11.428057887454008]
  畳み込み強化変圧器(コンフォーマ)に回転位置埋め込み(RoPE)を導入する。 RoPEは、絶対位置情報を回転行列によって入力シーケンスにエンコードし、自然に明示的な相対位置情報を自己保持モジュールに組み込む。 提案モデルでは,LbriSpeechコーパスの試験クリーンおよびテスト他のセットに対して,コンバータの単語誤り率を8.70%,コンバータの7.27%削減する。
  論文  参考訳（メタデータ） (2021-07-13T08:07:22Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Relative Positional Encoding for Transformers with Linear Complexity [30.48367640796256]
  古典的なトランスフォーマーには、相対的位置符号化(RPE)が有用である。 RPEは、注意行列の明示的な計算を必要とするため、最近のTransformerの線形変種では利用できない。 本論文では,古典的添加剤(正弦波型)PEの代替として用いることができ,RPEのように振る舞うことができるPEの正確な生成方法について述べる。
  論文  参考訳（メタデータ） (2021-05-18T09:52:32Z)
• RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
  位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。 様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
  論文  参考訳（メタデータ） (2021-04-20T09:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。