論文の概要: Demystifying Neural Language Models' Insensitivity to Word-Order

• arxiv url: http://arxiv.org/abs/2107.13955v1
• Date: Thu, 29 Jul 2021 13:34:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-30 17:32:40.554092
• Title: Demystifying Neural Language Models' Insensitivity to Word-Order
• Title（参考訳）: demystifying neural language models's insensitivity to word-order
• Authors: Louis Clouatre, Prasanna Parthasarathi, Amal Zouaq, Sarath Chandar
• Abstract要約: 摂動の定量化により,自然言語モデルの単語順に対する不感度について検討する。 ニューラルネットワークモデルは、トークンのグローバルな順序付けよりも、局所的な順序付けを必要とする。
• 参考スコア（独自算出の注目度）: 7.72780997900827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research analyzing the sensitivity of natural language understanding models to word-order perturbations have shown that the state-of-the-art models in several language tasks may have a unique way to understand the text that could seldom be explained with conventional syntax and semantics. In this paper, we investigate the insensitivity of natural language models to word-order by quantifying perturbations and analysing their effect on neural models' performance on language understanding tasks in GLUE benchmark. Towards that end, we propose two metrics - the Direct Neighbour Displacement (DND) and the Index Displacement Count (IDC) - that score the local and global ordering of tokens in the perturbed texts and observe that perturbation functions found in prior literature affect only the global ordering while the local ordering remains relatively unperturbed. We propose perturbations at the granularity of sub-words and characters to study the correlation between DND, IDC and the performance of neural language models on natural language tasks. We find that neural language models - pretrained and non-pretrained Transformers, LSTMs, and Convolutional architectures - require local ordering more so than the global ordering of tokens. The proposed metrics and the suite of perturbations allow a systematic way to study the (in)sensitivity of neural language understanding models to varying degree of perturbations.
• Abstract（参考訳）: 自然言語理解モデルの単語順摂動に対する感受性を分析する最近の研究では、いくつかの言語タスクにおける最先端のモデルは、従来の構文や意味論で説明できないテキストを理解するユニークな方法を持っている可能性がある。 本稿では,自然言語モデルの単語順への無感性について,摂動を定量化し,そのニューラルモデルの性能が言語理解タスクに与える影響をglueベンチマークで解析する。 そこで本研究では, 直交変位(DND)と指数変位数(IDC)の2つの指標を提案し, 乱れたテキスト中のトークンの局所的およびグローバルな順序付けをスコアし, 局所的な順序付けが比較的乱される一方で, 先行文献に見られる摂動関数がグローバルな順序付けにのみ影響することを観察する。 本研究では,自然言語タスクにおけるdnd,idcとニューラル言語モデルの性能の関係を調べるために,サブワードと文字の粒度における摂動を提案する。 ニューラルネットワークモデル – 事前訓練されたトランスフォーマー、lstm、畳み込みアーキテクチャ – では、トークンのグローバルな順序付けよりも、局所的な順序付けが必要であることが分かりました。 提案されたメトリクスと摂動のスイートは、ニューラルネットワーク理解モデルの感度を様々な摂動の程度に研究する体系的な方法を可能にする。

関連論文リスト

• Analysis of Argument Structure Constructions in a Deep Recurrent Language Model [0.0]
  本稿では,再帰型ニューラルネットワークモデルにおけるArgument Structure Constructions(ASC)の表現と処理について検討する。 その結果, 文表現は, 全層にまたがる4つのASCに対応する異なるクラスタを形成することがわかった。 これは、脳に拘束された比較的単純なリカレントニューラルネットワークでさえ、様々な構成タイプを効果的に区別できることを示している。
  論文  参考訳（メタデータ） (2024-08-06T09:27:41Z)
• Investigating the Timescales of Language Processing with EEG and Language Models [0.0]
  本研究では,事前学習した言語モデルと脳波データからの単語表現のアライメントを検討することで,言語処理の時間的ダイナミクスについて検討する。 テンポラル・レスポンス・ファンクション(TRF)モデルを用いて、神経活動が異なる層にまたがるモデル表現とどのように対応するかを検討する。 分析の結果,異なる層からのTRFのパターンが明らかとなり,語彙的および構成的処理への様々な貢献が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T12:49:27Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Shaking Syntactic Trees on the Sesame Street: Multilingual Probing with Controllable Perturbations [2.041108289731398]
  近年の研究では、テキスト摂動の概念を中心とした新しい実験分野が採用されている。 近年の研究では、シャッフル語順がトランスフォーマーベースの言語モデルの下流性能にほとんど影響しないことが明らかになっている。
  論文  参考訳（メタデータ） (2021-09-28T20:15:29Z)
• Lexicon Learning for Few-Shot Neural Sequence Modeling [32.49689188570872]
  本稿では,既存の複写機構を一般化した語彙変換機構を提案する。 認知科学、形式意味論、機械翻訳から引き出された様々なシーケンスモデリングタスクの体系的な一般化を改善する。
  論文  参考訳（メタデータ） (2021-06-07T22:35:04Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
  本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。 提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。 新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
  論文  参考訳（メタデータ） (2020-04-22T06:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。