論文の概要: Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task

• arxiv url: http://arxiv.org/abs/2204.06889v1
• Date: Thu, 14 Apr 2022 11:33:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 13:01:12.653069
• Title: Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task
• Title（参考訳）: BERTは本当に賛成ですか? 構文課題における語彙依存の微粒化解析
• Authors: Karim Lasri, Alessandro Lenci, Thierry Poibeau
• Abstract要約: 目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
• 参考スコア（独自算出の注目度）: 70.29624135819884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although transformer-based Neural Language Models demonstrate impressive performance on a variety of tasks, their generalization abilities are not well understood. They have been shown to perform strongly on subject-verb number agreement in a wide array of settings, suggesting that they learned to track syntactic dependencies during their training even without explicit supervision. In this paper, we examine the extent to which BERT is able to perform lexically-independent subject-verb number agreement (NA) on targeted syntactic templates. To do so, we disrupt the lexical patterns found in naturally occurring stimuli for each targeted structure in a novel fine-grained analysis of BERT's behavior. Our results on nonce sentences suggest that the model generalizes well for simple templates, but fails to perform lexically-independent syntactic generalization when as little as one attractor is present.
• Abstract（参考訳）: トランスフォーマーに基づくニューラル言語モデルでは,様々なタスクにおいて優れた性能を示すが,その一般化能力はよく理解されていない。 彼らは様々な設定で主語-動詞数合意に強く依存していることが示されており、明示的な監督なしにも訓練中に統語的依存関係を追跡することを学んだことを示唆している。 本稿では,BERTがターゲット構文テンプレート上で,語彙非依存の主観値数合意(NA)をどの程度実行できるかを検討する。 そのために我々は, バートの行動の新しい細粒度解析において, 目標構造毎に自然発生する刺激にみられる語彙パターンを乱す。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。

関連論文リスト

• "You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of Abstract Meaning Representation [60.863629647985526]
  文意味構造の解析において, GPT-3, ChatGPT, および GPT-4 モデルの成功と限界について検討した。 モデルはAMRの基本形式を確実に再現でき、しばしばコアイベント、引数、修飾子構造をキャプチャできる。 全体としては,これらのモデルではセマンティック構造の側面を捉えることができるが,完全に正確なセマンティック解析や解析をサポートする能力には重要な制限が残されている。
  論文  参考訳（メタデータ） (2023-10-26T21:47:59Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Investigating the Effect of Natural Language Explanations on Out-of-Distribution Generalization in Few-shot NLI [11.44224857047629]
  数ショットの学習設定を定式化し、自然言語の説明がOOD一般化に与える影響について検討する。 HANSデータセットのテンプレートを活用し、テンプレート毎にテンプレート化された自然言語説明を構築します。 生成した説明は、基礎的説明と競合するBLEUスコアを示すが、予測性能は向上しないことを示す。
  論文  参考訳（メタデータ） (2021-10-12T18:00:02Z)
• BigGreen at SemEval-2021 Task 1: Lexical Complexity Prediction with Assembly Models [2.4815579733050153]
  本稿では,与えられた文脈における英単語の語彙的複雑性を予測するために,BigGreen チームが 2021 に提出したシステムについて述べる。 BERTを基盤としたディープニューラルネットワークモデルにより、機能工学に基づくモデルを組み立てます。 我々の手工芸品の特徴は、語彙、意味、構文、および新しい音韻学的尺度からなる。
  論文  参考訳（メタデータ） (2021-04-19T04:05:50Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection [62.071938098215085]
  我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。 生成したテキストの意味的正しさを高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-19T23:23:40Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。