論文の概要: Out of Order: How important is the sequential order of words in a sentence in Natural Language Understanding tasks?

• arxiv url: http://arxiv.org/abs/2012.15180v1
• Date: Wed, 30 Dec 2020 14:56:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 06:08:28.823186
• Title: Out of Order: How important is the sequential order of words in a sentence in Natural Language Understanding tasks?
• Title（参考訳）: 命令外:自然言語理解タスクにおける文中の単語の逐次順序はどの程度重要か?
• Authors: Thang M. Pham, Trung Bui, Long Mai, Anh Nguyen
• Abstract要約: 最先端の自然言語理解モデルは、予測を行うときに単語の順序を気にしません。 BERTベースのモデルは、ランダムな順序でトークンが配置された場合、表面的な手がかりを利用して正しい決定を行う。 我々の研究は、多くのGLUEタスクが文の意味を理解するのに難題ではないことを示唆している。
• 参考スコア（独自算出の注目度）: 34.18339528128342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Do state-of-the-art natural language understanding models care about word order - one of the most important characteristics of a sequence? Not always! We found 75% to 90% of the correct predictions of BERT-based classifiers, trained on many GLUE tasks, remain constant after input words are randomly shuffled. Despite BERT embeddings are famously contextual, the contribution of each individual word to downstream tasks is almost unchanged even after the word's context is shuffled. BERT-based models are able to exploit superficial cues (e.g. the sentiment of keywords in sentiment analysis; or the word-wise similarity between sequence-pair inputs in natural language inference) to make correct decisions when tokens are arranged in random orders. Encouraging classifiers to capture word order information improves the performance on most GLUE tasks, SQuAD 2.0 and out-of-samples. Our work suggests that many GLUE tasks are not challenging machines to understand the meaning of a sentence.
• Abstract（参考訳）: 最先端の自然言語理解モデルは、単語の順序 - シーケンスの最も重要な特徴の1つか? いつもじゃない! 入力単語がランダムにシャッフルされた後も,多くのグルータスクで訓練されたbertベースの分類器の正確な予測の75%から90%が一定であった。 BERTの埋め込みはコンテキスト的に有名だが、各単語の下流タスクへの貢献は、単語のコンテキストがシャッフルされた後もほとんど変化しない。 BERTベースのモデルは表面的な手がかり(例)を利用することができる。 感情分析におけるキーワードの感情、あるいは自然言語推論におけるシーケンスペア入力間の単語間の類似性)トークンがランダムに配列されたときに正しい決定をする。 単語順序情報をキャプチャするための分類器の強化は、ほとんどのGLUEタスク、SQuAD 2.0およびout-of-samplesのパフォーマンスを改善する。 我々の研究は、多くのGLUEタスクが文の意味を理解するのに難題ではないことを示唆している。

関連論文リスト

• When does word order matter and when doesn't it? [31.092367724062644]
  言語モデル(LM)は、自然言語理解タスクにおける語順の変化に敏感に見える。 言語的冗長性はこの現象を説明することができ、語順や他の言語的手がかりが重複し、結果として冗長な情報を提供する。 我々は,非スクランブル文とスクランブル文の相互情報(MI)を用いて,情報的単語順序の定量化を行う。
  論文  参考訳（メタデータ） (2024-02-29T04:11:10Z)
• Towards Understanding the Word Sensitivity of Attention Layers: A Study via Random Features [19.261178173399784]
  ランダムな特徴の原型的設定における単語感度(WS)について検討した。 注意層は高いWS、すなわち、ランダムな注意特徴写像を乱す埋め込み空間にベクトルが存在することを示す。 すると、これらの結果が単語の感度から一般化境界に変換される。
  論文  参考訳（メタデータ） (2024-02-05T12:47:19Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• BLISS: Robust Sequence-to-Sequence Learning via Self-Supervised Input Representation [92.75908003533736]
  本稿では,自己教師型入力表現を用いたフレームワークレベルの頑健なシーケンス・ツー・シーケンス学習手法BLISSを提案する。 我々は,機械翻訳,文法的誤り訂正,テキスト要約など,BLISSの様々なタスクにおける有効性を検証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-04-16T16:19:47Z)
• Word Order Does Matter (And Shuffled Language Models Know It) [9.990431777927421]
  近年の研究では、ランダムに置換された文に対して事前訓練および/または微調整された言語モデルがGLUE上での競合性能を示すことが示されている。 シャッフルテキストエンコードから得られた位置埋め込みについて検討し、これらのモデルが元の自然主義的な単語順序に関する情報を保持することを示す。
  論文  参考訳（メタデータ） (2022-03-21T14:10:15Z)
• Pretraining without Wordpieces: Learning Over a Vocabulary of Millions of Words [50.11559460111882]
  本稿では,単語ではなく単語の語彙上で,BERTスタイルの事前学習モデルを開発する可能性について検討する。 その結果,標準的なワードピースベースのBERTと比較して,WordBERTはクローゼテストや機械読解の大幅な改善を実現していることがわかった。 パイプラインは言語に依存しないので、中国語でWordBERTを訓練し、5つの自然言語理解データセットで大きな利益を得る。
  論文  参考訳（メタデータ） (2022-02-24T15:15:48Z)
• Studying word order through iterative shuffling [14.530986799844873]
  NLPベンチマークタスクの実行には,単語順序エンコードが不可欠であることを示す。 我々は、固定言語モデルの下で最も高い確率を持つ単語の袋を注文する、新しい効率的な手続きであるBISを使用する。 IBISのような推論手順のシャッフルが言語モデリングや制約付き生成にどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2021-09-10T13:27:06Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。