論文の概要: Linearized Relative Positional Encoding

• arxiv url: http://arxiv.org/abs/2307.09270v1
• Date: Tue, 18 Jul 2023 13:56:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 14:23:02.313226
• Title: Linearized Relative Positional Encoding
• Title（参考訳）: 線形化相対位置符号化
• Authors: Zhen Qin, Weixuan Sun, Kaiyue Lu, Hui Deng, Dongxu Li, Xiaodong Han, Yuchao Dai, Lingpeng Kong, Yiran Zhong
• Abstract要約: 相対的な位置符号化は、位置情報を表すためにバニラや線形変換器で広く使われている。 従来の線形相対的位置符号化手法を正準形式にまとめる。 さらに,一元変換を用いた線形相対的位置符号化アルゴリズムのファミリを提案する。
• 参考スコア（独自算出の注目度）: 43.898057545832366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relative positional encoding is widely used in vanilla and linear transformers to represent positional information. However, existing encoding methods of a vanilla transformer are not always directly applicable to a linear transformer, because the latter requires a decomposition of the query and key representations into separate kernel functions. Nevertheless, principles for designing encoding methods suitable for linear transformers remain understudied. In this work, we put together a variety of existing linear relative positional encoding approaches under a canonical form and further propose a family of linear relative positional encoding algorithms via unitary transformation. Our formulation leads to a principled framework that can be used to develop new relative positional encoding methods that preserve linear space-time complexity. Equipped with different models, the proposed linearized relative positional encoding (LRPE) family derives effective encoding for various applications. Experiments show that compared with existing methods, LRPE achieves state-of-the-art performance in language modeling, text classification, and image classification. Meanwhile, it emphasizes a general paradigm for designing broadly more relative positional encoding methods that are applicable to linear transformers. The code is available at https://github.com/OpenNLPLab/Lrpe.
• Abstract（参考訳）: 相対的な位置符号化はバニラや線形トランスフォーマにおいて位置情報を表すために広く使われている。 しかしながら、バニラ変換器の既存の符号化方法は、クエリとキー表現を別個のカーネル関数に分解する必要があるため、必ずしも線形変換器に直接適用されない。 それでも、線形変圧器に適した符号化方法を設計するための原則は未検討のままである。 本研究では,既存の線形相対位置符号化手法を正準形式にまとめ,ユニタリ変換による線形相対位置符号化アルゴリズムのファミリーを提案する。 本稿の定式化は,線形時空複雑性を保存できる新しい相対的位置符号化法の開発に使用可能な原理的枠組みを導出する。 提案したリニアライズド相対位置符号化(LRPE)ファミリーは,様々な用途に有効な符号化を導出する。 実験により、LRPEは既存の手法と比較して、言語モデリング、テキスト分類、画像分類において最先端のパフォーマンスを達成することが示された。 一方、線形トランスフォーマーに適用可能な、より相対的な位置符号化法を広く設計するための一般的なパラダイムを強調している。 コードはhttps://github.com/opennlplab/lrpeで入手できる。

関連論文リスト

• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• PoPE: Legendre Orthogonal Polynomials Based Position Encoding for Large Language Models [0.0]
  Polynomial Based Positional Gonal (PoPE)は、オルソゴン伝説の位置情報を符号化する。 変換器モデルPoPEは、Multi30k$の英語-ドイツ語翻訳タスクでベースライン変換器モデルより優れていることを示す。 本稿では,PoPEの優れた性能に基づく位置符号化に関する新しい理論的視点を示す。
  論文  参考訳（メタデータ） (2024-04-29T10:30:59Z)
• Improving Position Encoding of Transformers for Multivariate Time Series Classification [5.467400475482668]
  本稿では,時間絶対位置という時系列データ専用の絶対位置符号化手法を提案する。 次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせた新しい時系列分類(MTSC)モデルを提案し,時系列データの位置とデータ埋め込みを改善する。
  論文  参考訳（メタデータ） (2023-05-26T05:30:04Z)
• Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers [71.32827362323205]
  我々はLearner-Transformer (Learners)と呼ばれる線形変換器の新しいクラスを提案する。 様々な相対的位置エンコーディング機構(RPE)を組み込んでいる。 これらには、シーケンシャルデータに適用される正規の RPE 技術や、高次元ユークリッド空間に埋め込まれた幾何学的データを操作する新しい RPE などが含まれる。
  論文  参考訳（メタデータ） (2023-02-03T18:57:17Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)
• Relative Positional Encoding for Transformers with Linear Complexity [30.48367640796256]
  古典的なトランスフォーマーには、相対的位置符号化(RPE)が有用である。 RPEは、注意行列の明示的な計算を必要とするため、最近のTransformerの線形変種では利用できない。 本論文では,古典的添加剤(正弦波型)PEの代替として用いることができ,RPEのように振る舞うことができるPEの正確な生成方法について述べる。
  論文  参考訳（メタデータ） (2021-05-18T09:52:32Z)
• Demystifying the Better Performance of Position Encoding Variants for Transformer [12.503079503907989]
  トランスフォーマーモデルに位置とセグメントをエンコードする方法を示します。 提案手法は、GLUE, XTREME, WMTベンチマークのSOTAと同等に実行し、コストを節約する。
  論文  参考訳（メタデータ） (2021-04-18T03:44:57Z)
• Learning to Encode Position for Transformer with Continuous Dynamical Model [88.69870971415591]
  本研究では,トランスフォーマーモデルなどの非リカレントモデルの位置情報をエンコードする新しい学習方法を提案する。 このような力学系による位置指数に沿った符号化結果の進化をモデル化する。
  論文  参考訳（メタデータ） (2020-03-13T00:41:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。