論文の概要: When does word order matter and when doesn't it?
- arxiv url: http://arxiv.org/abs/2402.18838v2
- Date: Fri, 1 Mar 2024 17:40:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-04 13:33:18.643440
- Title: When does word order matter and when doesn't it?
- Title（参考訳）: 単語の順序はいつ重要でいつでないのですか。
- Authors: Xuanda Chen and Timothy O'Donnell and Siva Reddy
- Abstract要約: 言語モデル(LM)は、自然言語理解タスクにおける語順の変化に敏感に見える。
言語的冗長性はこの現象を説明することができ、語順や他の言語的手がかりが重複し、結果として冗長な情報を提供する。
我々は,非スクランブル文とスクランブル文の相互情報(MI)を用いて,情報的単語順序の定量化を行う。
- 参考スコア（独自算出の注目度）: 31.092367724062644
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models (LMs) may appear insensitive to word order changes in natural
language understanding (NLU) tasks. In this paper, we propose that linguistic
redundancy can explain this phenomenon, whereby word order and other linguistic
cues such as case markers provide overlapping and thus redundant information.
Our hypothesis is that models exhibit insensitivity to word order when the
order provides redundant information, and the degree of insensitivity varies
across tasks. We quantify how informative word order is using mutual
information (MI) between unscrambled and scrambled sentences. Our results show
the effect that the less informative word order is, the more consistent the
model's predictions are between unscrambled and scrambled sentences. We also
find that the effect varies across tasks: for some tasks, like SST-2, LMs'
prediction is almost always consistent with the original one even if the
Pointwise-MI (PMI) changes, while for others, like RTE, the consistency is near
random when the PMI gets lower, i.e., word order is really important.
- Abstract（参考訳）: 言語モデル(LM)は、自然言語理解(NLU)タスクの語順変化に敏感に見える。
本稿では,この現象を言語的冗長性によって説明し,単語順やケースマーカーなどの言語的手がかりが重複し,冗長な情報が得られることを示す。
我々の仮説では、順序が冗長な情報を提供する場合、モデルは単語順に不感度を示し、その不感度の程度はタスクによって異なる。
我々は,非スクランブル文とスクランブル文の相互情報(MI)を用いて,情報的単語順序の定量化を行う。
結果より, 単語の順序が低くなるほど, モデルの予測の一貫性が増すと, 文のスクランブルがなくなることが示唆された。
SST-2のようなタスクでは、PMI(Pointwise-MI)が変更されても、LMの予測は元のタスクとほぼ常に一致しているのに対し、RTEのような他のタスクでは、PMIが低くなると、一貫性はほぼランダムである。
関連論文リスト
- Word Order's Impacts: Insights from Reordering and Generation Analysis [9.0720895802828]
現存する研究は、自然文中の単語の順序が与える影響について研究している。
この結果を踏まえ、単語順序に関する異なる仮説が提案されている。
ChatGPTは単語順序に依存するが、単語順序の語彙的意味論の間の冗長関係をサポートし、否定することはできない。
論文 参考訳（メタデータ） (2024-03-18T04:45:44Z) - Quantifying the redundancy between prosody and text [67.07817268372743]
我々は大きな言語モデルを用いて、韻律と単語自体の間にどれだけの情報が冗長であるかを推定する。
単語が持つ情報と韻律情報の間には,複数の韻律的特徴にまたがる高い冗長性が存在する。
それでも、韻律的特徴はテキストから完全には予測できないことが観察され、韻律は単語の上下に情報を運ぶことが示唆された。
論文 参考訳（メタデータ） (2023-11-28T21:15:24Z) - A Cross-Linguistic Pressure for Uniform Information Density in Word
Order [79.54362557462359]
実数列が反実数列よりも大きな情報均一性をもたらすかどうかを計算モデルを用いて検証する。
SVO言語の中では、実語順は逆語順よりも一様である。
言語的に不可解な反実順序のみが、実際の順序の均一性を超えている。
論文 参考訳（メタデータ） (2023-06-06T14:52:15Z) - Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。
我々は,単語順序の重要性を維持するために強制的無効化を提案する。
実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-04-11T13:42:10Z) - A Linguistic Investigation of Machine Learning based Contradiction
Detection Models: An Empirical Analysis and Future Perspectives [0.34998703934432673]
本稿では,2つの自然言語推論データセットについて,その言語的特徴について分析する。
目標は、特に機械学習モデルを理解するのが難しい、構文的および意味的特性を特定することである。
論文 参考訳（メタデータ） (2022-10-19T10:06:03Z) - Word Order Does Matter (And Shuffled Language Models Know It) [9.990431777927421]
近年の研究では、ランダムに置換された文に対して事前訓練および/または微調整された言語モデルがGLUE上での競合性能を示すことが示されている。
シャッフルテキストエンコードから得られた位置埋め込みについて検討し、これらのモデルが元の自然主義的な単語順序に関する情報を保持することを示す。
論文 参考訳（メタデータ） (2022-03-21T14:10:15Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z) - Out of Order: How important is the sequential order of words in a
sentence in Natural Language Understanding tasks? [34.18339528128342]
最先端の自然言語理解モデルは、予測を行うときに単語の順序を気にしません。
BERTベースのモデルは、ランダムな順序でトークンが配置された場合、表面的な手がかりを利用して正しい決定を行う。
我々の研究は、多くのGLUEタスクが文の意味を理解するのに難題ではないことを示唆している。
論文 参考訳（メタデータ） (2020-12-30T14:56:12Z) - My Teacher Thinks The World Is Flat! Interpreting Automatic Essay
Scoring Mechanism [71.34160809068996]
最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。
近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。
また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
論文 参考訳（メタデータ） (2020-12-27T06:19:20Z) - Characterizing the Effect of Sentence Context on Word Meanings: Mapping
Brain to Behavior [0.0]
本論文は,被験者がこのような変化を認識しているかどうかに答えることを目的としている。
被験者は、単語が特定の文で使用されるとき、その単語が汎用的な意味からどのように変化するかを判断するよう求められた。
結果は、単語の意味が文の文脈によって体系的に変化するという仮説を支持する。
論文 参考訳（メタデータ） (2020-07-27T20:12:30Z) - Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。
我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
論文 参考訳（メタデータ） (2020-04-07T01:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。