論文の概要: RoFormer: Enhanced Transformer with Rotary Position Embedding

• arxiv url: http://arxiv.org/abs/2104.09864v1
• Date: Tue, 20 Apr 2021 09:54:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-21 13:55:58.351942
• Title: RoFormer: Enhanced Transformer with Rotary Position Embedding
• Title（参考訳）: RoFormer: ロータリーポジション埋め込みを備えた拡張トランス
• Authors: Jianlin Su, Yu Lu, Shengfeng Pan, Bo Wen, Yunfeng Liu
• Abstract要約: 回転位置埋め込み(RoPE)という新しい実装を提案する。 RoPEは絶対位置情報を回転行列でエンコードし、自然に自己注意の定式化に明示的な位置依存性を組み込む。 その結果、ロータリ位置埋め込みを備えた強化トランス、またはRoFormerは、長いテキストを持つタスクで優れたパフォーマンスを実現します。
• 参考スコア（独自算出の注目度）: 4.139680033463683
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Position encoding in transformer architecture provides supervision for dependency modeling between elements at different positions in the sequence. We investigate various methods to encode positional information in transformer-based language models and propose a novel implementation named Rotary Position Embedding(RoPE). The proposed RoPE encodes absolute positional information with rotation matrix and naturally incorporates explicit relative position dependency in self-attention formulation. Notably, RoPE comes with valuable properties such as flexibility of being expand to any sequence lengths, decaying inter-token dependency with increasing relative distances, and capability of equipping the linear self-attention with relative position encoding. As a result, the enhanced transformer with rotary position embedding, or RoFormer, achieves superior performance in tasks with long texts. We release the theoretical analysis along with some preliminary experiment results on Chinese data. The undergoing experiment for English benchmark will soon be updated.
• Abstract（参考訳）: トランスアーキテクチャにおける位置エンコーディングは、シーケンス内の異なる位置にある要素間の依存性モデリングの監督を提供する。 トランスフォーマーベース言語モデルにおける位置情報をエンコードする様々な手法について検討し,Rotary Position Embedding (RoPE) という新しい実装を提案する。 提案するロープは, 絶対位置情報を回転行列で符号化し, 自着式に明示的な相対位置依存性を包含する。 特に、RoPEは、任意のシーケンス長に拡張する柔軟性、相対距離の増大に伴うトーケン間の依存性の減衰、相対位置エンコーディングによる線形自己アテンションの装備など、貴重な性質を備えている。 結果として、回転位置埋め込み(RoFormer)を備えた拡張変換器は、長いテキストを持つタスクにおいて優れたパフォーマンスを実現する。 理論解析を中国データを用いた予備実験結果とともに公開する。 英語ベンチマークの実施中の実験は近く更新される。

関連論文リスト

• Toward Relative Positional Encoding in Spiking Transformers [52.62008099390541]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、脳内のニューロンが離散スパイクを通してどのように通信するかをモデル化するバイオインスパイアネットワークである。 本稿では,スパイキング変換器における相対位置符号化(RPE)の近似手法を提案する。
  論文  参考訳（メタデータ） (2025-01-28T06:42:37Z)
• Benchmarking Rotary Position Embeddings for Automatic Speech Recognition [17.360059094663182]
  RoPE(Rotary Position Embedding)は、Transformerベースのモデルにおいて、相対的および絶対的な位置情報を符号化する。 RoPEは、現在広く使われている相対的な位置埋め込みと比較して、一貫して低い誤差率を達成する。 さらなる研究を容易にするため、我々はSpeechBrainツールキットを通じて、実装とすべての実験的なレシピをリリースする。
  論文  参考訳（メタデータ） (2025-01-10T15:30:46Z)
• Real-Time Motion Prediction via Heterogeneous Polyline Transformer with Relative Pose Encoding [121.08841110022607]
  既存のエージェント中心の手法は、公開ベンチマークで顕著な性能を示した。 K-nearest neighbor attention with relative pose encoding (KNARPE) は、トランスフォーマーがペアワイズ相対表現を使用できる新しいアテンション機構である。 エージェント間でコンテキストを共有し、変化しないコンテキストを再利用することで、私たちのアプローチはシーン中心のメソッドと同じくらい効率的になり、最先端のエージェント中心のメソッドと同等に実行されます。
  論文  参考訳（メタデータ） (2023-10-19T17:59:01Z)
• Spherical Position Encoding for Transformers [0.0]
  本稿では,トランスアーキテクチャの入力要素である「ゲオトケン」の概念を紹介する。 自然言語とは異なり、逐次位置はモデルにとって重要ではなく、地理的座標である。 球面座標の調整を行うRoPEアーキテクチャに基づく位置符号化機構を定式化する。
  論文  参考訳（メタデータ） (2023-10-04T09:28:59Z)
• Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings [68.61185138897312]
  凍結変圧器言語モデルでは,自己意図の分散を縮小することにより,強い位置情報を符号化する。 本研究は, 位置埋め込みを廃止する決定を正当化し, トランスフォーマー言語モデルのより効率的な事前学習を容易にすることに役立つ。
  論文  参考訳（メタデータ） (2023-05-23T01:03:40Z)
• Rotation-Invariant Transformer for Point Cloud Matching [42.5714375149213]
  我々は,回転不変変換器であるRoITrを導入し,点クラウドマッチングタスクにおけるポーズ変動に対処する。 本稿では,自己認識機構によって学習した,回転不変なクロスフレーム空間認識を備えたグローバルトランスフォーマーを提案する。 RoITrは、Inlier RatioとRegistration Recallの点で、既存のメソッドを少なくとも13と5のパーセンテージで上回っている。
  論文  参考訳（メタデータ） (2023-03-14T20:55:27Z)
• A Length-Extrapolatable Transformer [98.54835576985664]
  長さ外挿、すなわち短いテキストのトレーニングに焦点をあて、長いシーケンスを評価します。 注目度を最大化するために,相対的な位置埋め込みを導入する。 言語モデルを用いてトランスフォーマーの変種を評価する。
  論文  参考訳（メタデータ） (2022-12-20T18:56:20Z)
• Multiplicative Position-aware Transformer Models for Language Understanding [17.476450946279037]
  自己アテンションのようなアーキテクチャ改善を活用するトランスフォーマーモデルは、自然言語処理(NLP)タスクにおいて極めてよく機能する。 本稿では,既存の主要な位置埋め込み手法を概説し,その精度を下流NLPタスクで比較する。 また,既存手法と比較して精度が向上する新しい乗法埋め込み法を提案する。
  論文  参考訳（メタデータ） (2021-09-27T04:18:32Z)
• Rethinking and Improving Relative Position Encoding for Vision Transformer [61.559777439200744]
  リレーショナル位置符号化(RPE)は、トランスフォーマーが入力トークンのシーケンス順序をキャプチャする上で重要である。 画像RPE(iRPE)と呼ばれる2次元画像専用の新しい相対的位置符号化法を提案する。
  論文  参考訳（メタデータ） (2021-07-29T17:55:10Z)
• Conformer-based End-to-end Speech Recognition With Rotary Position Embedding [11.428057887454008]
  畳み込み強化変圧器(コンフォーマ)に回転位置埋め込み(RoPE)を導入する。 RoPEは、絶対位置情報を回転行列によって入力シーケンスにエンコードし、自然に明示的な相対位置情報を自己保持モジュールに組み込む。 提案モデルでは,LbriSpeechコーパスの試験クリーンおよびテスト他のセットに対して,コンバータの単語誤り率を8.70%,コンバータの7.27%削減する。
  論文  参考訳（メタデータ） (2021-07-13T08:07:22Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。