論文の概要: Word Order Does Matter (And Shuffled Language Models Know It)

• arxiv url: http://arxiv.org/abs/2203.10995v1
• Date: Mon, 21 Mar 2022 14:10:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 16:17:10.646774
• Title: Word Order Does Matter (And Shuffled Language Models Know It)
• Title（参考訳）: 単語順は重要(そしてシャッフルされた言語モデルはそれを知っている)
• Authors: Vinit Ravishankar, Mostafa Abdou, Artur Kulmizev, Anders S{\o}gaard
• Abstract要約: 近年の研究では、ランダムに置換された文に対して事前訓練および/または微調整された言語モデルがGLUE上での競合性能を示すことが示されている。 シャッフルテキストエンコードから得られた位置埋め込みについて検討し、これらのモデルが元の自然主義的な単語順序に関する情報を保持することを示す。
• 参考スコア（独自算出の注目度）: 9.990431777927421
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have shown that language models pretrained and/or fine-tuned on randomly permuted sentences exhibit competitive performance on GLUE, putting into question the importance of word order information. Somewhat counter-intuitively, some of these studies also report that position embeddings appear to be crucial for models' good performance with shuffled text. We probe these language models for word order information and investigate what position embeddings learned from shuffled text encode, showing that these models retain information pertaining to the original, naturalistic word order. We show this is in part due to a subtlety in how shuffling is implemented in previous work -- before rather than after subword segmentation. Surprisingly, we find even Language models trained on text shuffled after subword segmentation retain some semblance of information about word order because of the statistical dependencies between sentence length and unigram probabilities. Finally, we show that beyond GLUE, a variety of language understanding tasks do require word order information, often to an extent that cannot be learned through fine-tuning.
• Abstract（参考訳）: 近年の研究では、ランダムに置換された文に事前訓練や微調整を施した言語モデルがGLUE上での競争性能を示すことが示されており、語順情報の重要性が疑問視されている。 反対に、これらの研究のいくつかは、位置埋め込みがシャッフルテキストを用いたモデルの性能向上に不可欠であると報告している。 本稿では,これらの言語モデルを単語順序情報として探索し,シャッフルテキストエンコードから学習した位置埋め込みについて検討し,これらのモデルが本来の自然主義的な単語順序に関する情報を保持することを示す。 これは、サブワードのセグメンテーションよりも前に、以前の作業でシャッフルがどのように実装されているか、という微妙な違いによる部分です。 意外なことに、文長とユニグラム確率の統計的依存性から、サブワードセグメンテーション後のテキストシャッフルで訓練された言語モデルでも、単語順序に関する情報はある程度保持されている。 最後に,GLUE以外では,様々な言語理解タスクが単語の順序情報を必要とすることを示し,微調整によって学習できない程度にまで拡張する。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
  複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。 分割のための専用モデルを訓練するための新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-05-23T16:32:27Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• On the Difficulty of Segmenting Words with Attention [32.97060026226872]
  しかし、モノリンガルデータでさえこのアプローチは脆弱であることを示す。 異なる入力タイプ、データサイズ、セグメンテーションアルゴリズムの実験では、単語から電話を予測するために訓練されたモデルのみがタスクを成功させる。
  論文  参考訳（メタデータ） (2021-09-21T11:37:08Z)
• Studying word order through iterative shuffling [14.530986799844873]
  NLPベンチマークタスクの実行には,単語順序エンコードが不可欠であることを示す。 我々は、固定言語モデルの下で最も高い確率を持つ単語の袋を注文する、新しい効率的な手続きであるBISを使用する。 IBISのような推論手順のシャッフルが言語モデリングや制約付き生成にどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2021-09-10T13:27:06Z)
• Does He Wink or Does He Nod? A Challenging Benchmark for Evaluating Word Understanding of Language Models [0.6091702876917281]
  大規模コーパスにおける事前学習言語モデルの最近の進歩は、多くのNLPタスクにおいて大きなパフォーマンス向上をもたらした。 どのような知識が獲得されたかを評価するため、言語モデルは通常、空白スタイルのクローゼ質問を埋めてクエリすることで探索される。 単語の辞書定義を用いて単語理解を直接評価するためにWDLMProを導入する。
  論文  参考訳（メタデータ） (2021-02-06T15:15:57Z)
• Out of Order: How important is the sequential order of words in a sentence in Natural Language Understanding tasks? [34.18339528128342]
  最先端の自然言語理解モデルは、予測を行うときに単語の順序を気にしません。 BERTベースのモデルは、ランダムな順序でトークンが配置された場合、表面的な手がかりを利用して正しい決定を行う。 我々の研究は、多くのGLUEタスクが文の意味を理解するのに難題ではないことを示唆している。
  論文  参考訳（メタデータ） (2020-12-30T14:56:12Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。