論文の概要: CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings

• arxiv url: http://arxiv.org/abs/2106.03143v1
• Date: Sun, 6 Jun 2021 14:54:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 18:50:36.484807
• Title: CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings
• Title（参考訳）: CAPE: 連続拡張位置埋め込みによる相対位置の符号化
• Authors: Tatiana Likhomanenko, Qiantong Xu, Ronan Collobert, Gabriel Synnaeve, Alex Rogozhnikov
• Abstract要約: 絶対位置埋め込みのための拡張型アプローチ(CAPE)を提案する。 CAPEは絶対(単純さと速度)と相対的な位置埋め込み(一般化)の両方の利点を保っている。
• 参考スコア（独自算出の注目度）: 33.87449556591022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Without positional information, attention-based transformer neural networks are permutation-invariant. Absolute or relative positional embeddings are the most popular ways to feed transformer models positional information. Absolute positional embeddings are simple to implement, but suffer from generalization issues when evaluating on sequences of different length than those seen at training time. Relative positions are more robust to length change, but are more complex to implement and yield inferior model throughput. In this paper, we propose an augmentation-based approach (CAPE) for absolute positional embeddings, which keeps the advantages of both absolute (simplicity and speed) and relative position embeddings (better generalization). In addition, our empirical evaluation on state-of-the-art models in machine translation, image and speech recognition demonstrates that CAPE leads to better generalization performance as well as increased stability with respect to training hyper-parameters.
• Abstract（参考訳）: 位置情報がないと、注意に基づくトランスフォーマーニューラルネットワークは置換不変である。 絶対的または相対的な位置埋め込みは、トランスフォーマーモデルの位置情報を供給するための最も一般的な方法である。 絶対的な位置埋め込みは実装が簡単であるが、トレーニング時に見られるものと異なる長さのシーケンスを評価する際に一般化の問題に悩まされる。 相対的な位置は長さの変化に対してより堅牢であるが、劣るモデルのスループットの実装と出力がより複雑である。 本稿では,絶対位置埋め込みと相対位置埋め込み(より一般化)の両方の利点を保ちつつ,絶対位置埋め込みのための拡張ベースアプローチ(cape)を提案する。 さらに,機械翻訳,画像,音声認識における最先端モデルに対する経験的評価から,capaは一般化性能の向上と,ハイパーパラメータのトレーニングにおける安定性の向上につながることが示された。

関連論文リスト

• Functional Interpolation for Relative Positions Improves Long Context Transformers [86.12843093589]
  本稿では,より長いコンテキストに変換器の一般化を改善するために,プログレッシブなFIREを用いた関数的相対的位置符号化を提案する。 理論的には、これはT5のRPE、Alibi、Kerpleなどの一般的な相対的な位置エンコーディングのいくつかを表現できる。 FIREモデルは、ゼロショット言語モデリングと長文ベンチマークの両方において、より長い文脈での一般化がより優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-06T17:59:11Z)
• The Impact of Positional Encoding on Length Generalization in Transformers [50.48278691801413]
  復号器のみの変圧器長一般化性能と5つの異なる位置符号化手法との比較を行った。 その結果,ALiBi,Rotary,APEなどの位置符号化法は,下流タスクにおける長さ一般化には適していないことがわかった。
  論文  参考訳（メタデータ） (2023-05-31T00:29:55Z)
• Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings [68.61185138897312]
  凍結変圧器言語モデルでは,自己意図の分散を縮小することにより,強い位置情報を符号化する。 本研究は, 位置埋め込みを廃止する決定を正当化し, トランスフォーマー言語モデルのより効率的な事前学習を容易にすることに役立つ。
  論文  参考訳（メタデータ） (2023-05-23T01:03:40Z)
• The Curious Case of Absolute Position Embeddings [65.13827063579728]
  トランスフォーマー言語モデルは、位置情報を用いた単語順序の概念を符号化する。 自然言語では、絶対的な位置ではなく相対的な位置であり、APEがこのような情報を捉えることができる範囲は研究されていない。 我々は, APE を用いて訓練されたモデルが, 位置情報をシフトした文を入力した時点で, 位置情報に基づいて過度に訓練されていることを観察した。
  論文  参考訳（メタデータ） (2022-10-23T00:00:04Z)
• Multiplicative Position-aware Transformer Models for Language Understanding [17.476450946279037]
  自己アテンションのようなアーキテクチャ改善を活用するトランスフォーマーモデルは、自然言語処理(NLP)タスクにおいて極めてよく機能する。 本稿では,既存の主要な位置埋め込み手法を概説し,その精度を下流NLPタスクで比較する。 また,既存手法と比較して精度が向上する新しい乗法埋め込み法を提案する。
  論文  参考訳（メタデータ） (2021-09-27T04:18:32Z)
• SHAPE: Shifted Absolute Position Embedding for Transformers [59.03597635990196]
  既存の位置表現は、目に見えない長さや計算コストの高いデータをテストする一般化の欠如に悩まされる。 両問題に対処するため,シフト絶対位置埋め込み(SHAPE)について検討した。
  論文  参考訳（メタデータ） (2021-09-13T00:10:02Z)
• Conformer-based End-to-end Speech Recognition With Rotary Position Embedding [11.428057887454008]
  畳み込み強化変圧器(コンフォーマ)に回転位置埋め込み(RoPE)を導入する。 RoPEは、絶対位置情報を回転行列によって入力シーケンスにエンコードし、自然に明示的な相対位置情報を自己保持モジュールに組み込む。 提案モデルでは,LbriSpeechコーパスの試験クリーンおよびテスト他のセットに対して,コンバータの単語誤り率を8.70%,コンバータの7.27%削減する。
  論文  参考訳（メタデータ） (2021-07-13T08:07:22Z)
• Improve Transformer Models with Better Relative Position Embeddings [18.59434691153783]
  トランスフォーマーアーキテクチャは、単語順序の概念を維持するために明示的な位置符号化に依存している。 既存の作業は位置情報を十分に活用していないと我々は主張する。 本稿では,クエリ,キー,相対的な位置埋め込みの相互作用を促進する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T22:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。