論文の概要: What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding

• arxiv url: http://arxiv.org/abs/2010.04903v1
• Date: Sat, 10 Oct 2020 05:03:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 22:28:02.967808
• Title: What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
• Title（参考訳）: 位置埋め込みは何を学習するか? 事前学習言語モデルの位置エンコーディングに関する実証的研究
• Authors: Yu-An Wang, Yun-Nung Chen
• Abstract要約: 本稿では, 特徴レベルの解析と, 象徴的NLPタスクの多くに対する実証実験を通じて, 事前学習した位置埋め込みの新たな洞察を提供することに焦点をあてる。 本実験の結果は,アプリケーション特性が与えられた特定のタスクに対して,適切な位置符号化関数を選択するための今後の課題を導出できると考えられる。
• 参考スコア（独自算出の注目度）: 42.011175069706816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, pre-trained Transformers have dominated the majority of NLP benchmark tasks. Many variants of pre-trained Transformers have kept breaking out, and most focus on designing different pre-training objectives or variants of self-attention. Embedding the position information in the self-attention mechanism is also an indispensable factor in Transformers however is often discussed at will. Therefore, this paper carries out an empirical study on position embeddings of mainstream pre-trained Transformers, which mainly focuses on two questions: 1) Do position embeddings really learn the meaning of positions? 2) How do these different learned position embeddings affect Transformers for NLP tasks? This paper focuses on providing a new insight of pre-trained position embeddings through feature-level analysis and empirical experiments on most of iconic NLP tasks. It is believed that our experimental results can guide the future work to choose the suitable positional encoding function for specific tasks given the application property.
• Abstract（参考訳）: 近年、事前訓練されたトランスフォーマーがNLPベンチマークタスクの大部分を支配している。 プリトレーニング変圧器の多くの変種は分裂を続けており、ほとんどが異なるプリトレーニング目的やセルフアテンションの変種の設計に焦点を当てている。 自己アテンション機構に位置情報を埋め込むこともトランスフォーマーにとって必須の要素であるが、随意に議論されることが多い。 そこで本稿では,主に2つの質問に焦点をあてた,メインストリームの予習変圧器の位置埋め込みに関する実証研究を行う。 1) 位置埋め込みはポジションの意味を本当に学べるのか? 2)これらの異なる学習位置埋め込みはnlpタスクのトランスフォーマーにどのように影響するか? 本稿では, 特徴レベルの解析と, 象徴的NLPタスクの多くに対する実証実験を通じて, 事前学習した位置埋め込みの新たな洞察を提供することに焦点をあてる。 本研究は,アプリケーション特性を考慮した特定のタスクに適した位置符号化関数を選択するための,今後の作業のガイドとなると考えられる。

関連論文リスト

• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Contextual Counting: A Mechanistic Study of Transformers on a Quantitative Task [40.85615657802704]
  本稿では,トランスフォーマーの理解を深めるための新しい玩具問題である文脈カウントタスクを紹介する。 因果的および非因果的トランスフォーマーアーキテクチャを用いた理論的および経験的解析を行った。
  論文  参考訳（メタデータ） (2024-05-30T20:52:23Z)
• Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs [18.832135309689736]
  大規模言語モデル(LLM)の最近の進歩は、長い入力コンテキストを処理する能力を高めている。 近年の研究では、LCMの位置バイアスが示されており、有用な情報の位置に応じて様々な性能を示す。 本研究では,データ拡張手法と効率的なパラメータアダプタを組み合わせた位置認識型PAPEFTアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-01T19:04:17Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings [68.61185138897312]
  凍結変圧器言語モデルでは,自己意図の分散を縮小することにより,強い位置情報を符号化する。 本研究は, 位置埋め込みを廃止する決定を正当化し, トランスフォーマー言語モデルのより効率的な事前学習を容易にすることに役立つ。
  論文  参考訳（メタデータ） (2023-05-23T01:03:40Z)
• Evaluating Prompt-based Question Answering for Object Prediction in the Open Research Knowledge Graph [0.0]
  本研究は,テクスチャ学習用グラフオブジェクト予測のためのトランスフォーマーの即時学習導入に関する成果を報告する。 学術知識グラフのオブジェクトを予測するためにエンティティと関係抽出パイプラインを提案する他の研究から逸脱する。 i) 期待値当たり、(i) 新たなデータ領域でテストされた場合のトランスフォーマーモデル、(ii) モデルの迅速なトレーニングにより、緩和された評価設定で最大40%の性能向上が達成されることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T10:35:18Z)
• Position Prediction as an Effective Pretraining Strategy [20.925906203643883]
  本稿では,コンテンツからの位置を予測し,位置情報を提供することなく,コンテンツを再構築する手法を提案する。 提案手法は,教師なし/自己教師付き事前学習手法に匹敵する,強い教師付きトレーニングベースラインの改善をもたらす。
  論文  参考訳（メタデータ） (2022-07-15T17:10:48Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• Training ELECTRA Augmented with Multi-word Selection [53.77046731238381]
  本稿では,マルチタスク学習に基づくELECTRAの改良を目的としたテキストエンコーダ事前学習手法を提案する。 具体的には、識別器を訓練し、置換トークンを同時に検出し、候補集合から元のトークンを選択する。
  論文  参考訳（メタデータ） (2021-05-31T23:19:00Z)
• Position Information in Transformers: An Overview [6.284464997330884]
  本稿では,トランスフォーマーモデルに位置情報を組み込む共通手法の概要について述べる。 本調査の目的は,Transformerにおける位置情報が活発で広範な研究領域であることを示すことである。
  論文  参考訳（メタデータ） (2021-02-22T15:03:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。