論文の概要: Demystifying the Better Performance of Position Encoding Variants for Transformer

• arxiv url: http://arxiv.org/abs/2104.08698v1
• Date: Sun, 18 Apr 2021 03:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:36:55.394189
• Title: Demystifying the Better Performance of Position Encoding Variants for Transformer
• Title（参考訳）: 変圧器における位置符号化変数の性能向上
• Authors: Pu-Chin Chen, Henry Tsai, Srinadh Bhojanapalli, Hyung Won Chung, Yin-Wen Chang, Chun-Sung Ferng
• Abstract要約: トランスフォーマーモデルに位置とセグメントをエンコードする方法を示します。 提案手法は、GLUE, XTREME, WMTベンチマークのSOTAと同等に実行し、コストを節約する。
• 参考スコア（独自算出の注目度）: 12.503079503907989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers are state of the art models in NLP that map a given input sequence of vectors to an output sequence of vectors. However these models are permutation equivariant, and additive position embeddings to the input are used to supply the information about the order of the input tokens. Further, for some tasks, additional additive segment embeddings are used to denote different types of input sentences. Recent works proposed variations of positional encodings with relative position encodings achieving better performance. In this work, we do a systematic study comparing different position encodings and understanding the reasons for differences in their performance. We demonstrate a simple yet effective way to encode position and segment into the Transformer models. The proposed method performs on par with SOTA on GLUE, XTREME and WMT benchmarks while saving computation costs.
• Abstract（参考訳）: トランスフォーマーは、与えられたベクトルの入力シーケンスをベクトルの出力シーケンスにマッピングするNLPのアートモデルの状態である。 しかし、これらのモデルは置換同変であり、入力への付加的な位置埋め込みを用いて入力トークンの順序に関する情報を提供する。 さらに、様々な種類の入力文を表すために追加のセグメント埋め込みが用いられるタスクもある。 近年、相対的な位置エンコーディングによる位置エンコーディングのバリエーションが提案され、性能が向上している。 本研究では,異なる位置エンコーディングを比較し,それらの性能の違いの理由を体系的に検討する。 位置とセグメントをトランスフォーマモデルにエンコードする,単純かつ効果的な方法を示す。 提案手法は,計算コストを削減しつつ,GLUE,XTREME,WMTベンチマーク上でSOTAと同等に動作する。

関連論文リスト

• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Comparing Graph Transformers via Positional Encodings [11.5844121984212]
  グラフ変換器の識別能力は位置符号化の選択と密接に結びついている。 位置符号化には、絶対位置符号化(APE)と相対位置符号化(RPE)の2種類がある。 APE と RPE を用いたグラフトランスフォーマーは、パワーの区別の点で等価であることを示す。
  論文  参考訳（メタデータ） (2024-02-22T01:07:48Z)
• Functional Interpolation for Relative Positions Improves Long Context Transformers [86.12843093589]
  本稿では,より長いコンテキストに変換器の一般化を改善するために,プログレッシブなFIREを用いた関数的相対的位置符号化を提案する。 理論的には、これはT5のRPE、Alibi、Kerpleなどの一般的な相対的な位置エンコーディングのいくつかを表現できる。 FIREモデルは、ゼロショット言語モデリングと長文ベンチマークの両方において、より長い文脈での一般化がより優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-06T17:59:11Z)
• Improving Position Encoding of Transformers for Multivariate Time Series Classification [5.467400475482668]
  本稿では,時間絶対位置という時系列データ専用の絶対位置符号化手法を提案する。 次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせた新しい時系列分類(MTSC)モデルを提案し,時系列データの位置とデータ埋め込みを改善する。
  論文  参考訳（メタデータ） (2023-05-26T05:30:04Z)
• Towards More Efficient Insertion Transformer with Fractional Positional Encoding [44.45401243989363]
  自動回帰ニューラルシーケンスモデルは、テキスト生成タスクで有効であることが示されている。 左から右への復号命令は、生成が並列化されるのを防ぐ。 Insertion Transformerは、単一の生成ステップで複数のトークンを出力できる魅力的な代替手段である。
  論文  参考訳（メタデータ） (2021-12-12T18:38:27Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Do We Really Need Explicit Position Encodings for Vision Transformers? [29.7662570764424]
  入力トークンの局所近傍に条件付き位置符号化方式を提案する。 PEGを用いた新しいモデルは、Visual Transformer (CPVT) と呼ばれ、任意の長さの入力シーケンスを自然に処理できる。 我々は, cpvt が視覚的に類似したアテンションマップとなり, 予め定義された位置符号化よりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-02-22T10:29:55Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)
• Relative Positional Encoding for Speech Recognition and Direct Translation [72.64499573561922]
  相対位置符号化方式を音声変換器に適用する。 その結果,ネットワークは音声データに存在する変動分布に適応できることがわかった。
  論文  参考訳（メタデータ） (2020-05-20T09:53:06Z)
• Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
  本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。 本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T17:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。