論文の概要: The Locality and Symmetry of Positional Encodings

• arxiv url: http://arxiv.org/abs/2310.12864v1
• Date: Thu, 19 Oct 2023 16:15:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 14:12:36.667045
• Title: The Locality and Symmetry of Positional Encodings
• Title（参考訳）: 位置エンコーディングの局所性と対称性
• Authors: Lihu Chen, Ga\"el Varoquaux, Fabian M. Suchanek
• Abstract要約: 我々はtextbfBi Masked Language Models (BERT-style) における位置符号化の体系的研究を行う。 PEのコア関数は、局所性と対称性という2つの共通性質を同定することによって明らかにする。 2つの新しい探索タスクを導入し、現在のPEの弱点を定量化する。
• 参考スコア（独自算出の注目度）: 9.246374019271938
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Positional Encodings (PEs) are used to inject word-order information into transformer-based language models. While they can significantly enhance the quality of sentence representations, their specific contribution to language models is not fully understood, especially given recent findings that various positional encodings are insensitive to word order. In this work, we conduct a systematic study of positional encodings in \textbf{Bidirectional Masked Language Models} (BERT-style) , which complements existing work in three aspects: (1) We uncover the core function of PEs by identifying two common properties, Locality and Symmetry; (2) We show that the two properties are closely correlated with the performances of downstream tasks; (3) We quantify the weakness of current PEs by introducing two new probing tasks, on which current PEs perform poorly. We believe that these results are the basis for developing better PEs for transformer-based language models. The code is available at \faGithub~ \url{https://github.com/tigerchen52/locality\_symmetry}
• Abstract（参考訳）: 位置エンコーディング(PE)は、語順情報をトランスフォーマーベースの言語モデルに注入するために用いられる。 文章表現の質は著しく向上するが、言語モデルへの特異的な貢献は完全には理解されていない。 In this work, we conduct a systematic study of positional encodings in \textbf{Bidirectional Masked Language Models} (BERT-style) , which complements existing work in three aspects: (1) We uncover the core function of PEs by identifying two common properties, Locality and Symmetry; (2) We show that the two properties are closely correlated with the performances of downstream tasks; (3) We quantify the weakness of current PEs by introducing two new probing tasks, on which current PEs perform poorly. これらの結果は、トランスフォーマーベース言語モデルのためのより良いPE開発の基礎となると信じている。 コードは \fagithub~ \url{https://github.com/tigerchen52/locality\_symmetry} で利用可能である。

関連論文リスト

• PoPE: Legendre Orthogonal Polynomials Based Position Encoding for Large Language Models [0.0]
  Polynomial Based Positional Gonal (PoPE)は、オルソゴン伝説の位置情報を符号化する。 変換器モデルPoPEは、Multi30k$の英語-ドイツ語翻訳タスクでベースライン変換器モデルより優れていることを示す。 本稿では,PoPEの優れた性能に基づく位置符号化に関する新しい理論的視点を示す。
  論文  参考訳（メタデータ） (2024-04-29T10:30:59Z)
• Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation [69.68831888599476]
  そこで我々は,バイレベル位置符号化と呼ばれる新しい位置符号化法を開発した。 倫理的分析は、この位置情報の絡み合いが学習をより効果的にすることを示している。 私たちのBiPEは、多種多様なテキストモダリティにおいて、幅広いタスクにわたって、より優れた長さの補間機能を持っています。
  論文  参考訳（メタデータ） (2024-01-29T18:59:07Z)
• CONFLATOR: Incorporating Switching Point based Rotatory Positional Encodings for Code-Mixed Language Modeling [10.26356931263957]
  コード混合言語のためのニューラル言語モデリングアプローチであるCONFLATORを紹介する。 回転位置エンコーディングと切替点情報とが最適な結果をもたらすことを示す。 ConFLATORは、コードミキシングされたヒンディー語と英語に基づく2つのタスクで最先端のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-09-11T07:02:13Z)
• Word Order Matters when you Increase Masking [70.29624135819884]
  本研究では,事前学習対象自体に対する位置エンコーディングの除去効果について検討し,モデルが共起点のみの位置情報を再構成できるかどうかを検証した。 位置情報の必要性はマスキングの量とともに増大し、位置エンコーディングのないマスキング言語モデルではタスク上でこの情報を再構築できないことがわかった。
  論文  参考訳（メタデータ） (2022-11-08T18:14:04Z)
• The Impact of Positional Encodings on Multilingual Compression [3.454503173118508]
  元のトランスアーキテクチャで使われる正弦波の位置エンコーディングに対して、いくつかの修正が提案されている。 まず、これらの修正はモノリンガル言語モデルを改善する傾向にあるが、いずれの修正もより良いマルチリンガル言語モデルをもたらすものではないことを示す。
  論文  参考訳（メタデータ） (2021-09-11T23:22:50Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
  絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。 我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T13:11:02Z)
• Self-Attention with Cross-Lingual Position Representation [112.05807284056337]
  位置符号化(PE)は、自然言語処理タスクの単語順序情報を保存し、入力シーケンスの固定位置インデックスを生成する。 語順が異なるため、言語間の位置関係をモデル化することは、SANがこの問題に取り組むのに役立つ。 我々は、入力文のバイリンガル認識潜在構造をモデル化するために、言語間位置表現によるSANを拡大する。
  論文  参考訳（メタデータ） (2020-04-28T05:23:43Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。