論文の概要: Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment

• arxiv url: http://arxiv.org/abs/2005.00165v3
• Date: Thu, 7 May 2020 15:21:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 23:38:13.941485
• Title: Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment
• Title（参考訳）: リカレントニューラルネットワークモデル - 英語のような相対的クロースアタッチメントを常に学習する
• Authors: Forrest Davis and Marten van Schijndel
• Abstract要約: 英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。 英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
• 参考スコア（独自算出の注目度）: 17.995905582226463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A standard approach to evaluating language models analyzes how models assign probabilities to valid versus invalid syntactic constructions (i.e. is a grammatical sentence more probable than an ungrammatical sentence). Our work uses ambiguous relative clause attachment to extend such evaluations to cases of multiple simultaneous valid interpretations, where stark grammaticality differences are absent. We compare model performance in English and Spanish to show that non-linguistic biases in RNN LMs advantageously overlap with syntactic structure in English but not Spanish. Thus, English models may appear to acquire human-like syntactic preferences, while models trained on Spanish fail to acquire comparable human-like preferences. We conclude by relating these results to broader concerns about the relationship between comprehension (i.e. typical language model use cases) and production (which generates the training data for language models), suggesting that necessary linguistic biases are not present in the training signal at all.
• Abstract（参考訳）: 言語モデルを評価するための標準的なアプローチは、モデルが有効か無効かの構文構成に確率を割り当てる方法を分析する(すなわち、文法的な文は非文法的な文よりも確率が高い)。 本研究はあいまいな関係節アタッチメントを用いて,文法的差異が欠落している複数の同時的正当解釈の場合にその評価を拡張している。 英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。 このように、英語モデルは人間に似た構文的嗜好を取得するように見えるが、スペイン語で訓練されたモデルは人間に似た嗜好を取得することができない。 結論として,これらの結果から,理解能力(典型的な言語モデル利用事例)と生産能力(言語モデルの訓練データを生成する)の関係に関する幅広い関心事に関連し,学習信号に必要となる言語バイアスが全く存在しないことを示唆した。

関連論文リスト

• JCoLA: Japanese Corpus of Linguistic Acceptability [3.6141428739228902]
  JCoLA ( Japanese Corpus of Linguistic Acceptability) は10,020の文に二分的受容性判定を付加した文章である。 JCoLAにおける9種類の日本語モデルの構文的知識を評価する。
  論文  参考訳（メタデータ） (2023-09-22T07:35:45Z)
• Language model acceptability judgements are not always robust to context [30.868765627701457]
  目標構文評価における言語モデルの性能の安定性について検討する。 モデル判断は、ランダムにサンプル化された言語コンテキストに置かれる場合、一般的には堅牢である。 これらのモデル性能の変化は、コンテキストとテスト入力にマッチする単純な特徴によって説明できないことを示す。
  論文  参考訳（メタデータ） (2022-12-18T00:11:06Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Controlled Evaluation of Grammatical Knowledge in Mandarin Chinese Language Models [22.57309958548928]
  構造的監督が言語モデルの文法的依存の学習能力を向上させるかどうかを検討する。 LSTM、リカレントニューラルネットワーク文法、トランスフォーマー言語モデル、および異なるサイズのデータセットに対する生成解析モデルをトレーニングする。 構造的監督がコンテンツ間のシナティクス状態の表現に役立ち、低データ設定における性能向上に役立つという示唆的な証拠が得られます。
  論文  参考訳（メタデータ） (2021-09-22T22:11:30Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
  否定は自然言語の中核構造である。 本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。 否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
  論文  参考訳（メタデータ） (2021-05-07T21:58:35Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Cross-Linguistic Syntactic Evaluation of Word Prediction Models [25.39896327641704]
  本稿では,ニューラルワード予測モデルの文法学習能力が言語によってどう異なるかを検討する。 CLAMSには、英語、フランス語、ドイツ語、ヘブライ語、ロシア語のサブバーブ協定の課題セットが含まれている。 CLAMSを用いてLSTM言語モデルと単言語および多言語BERTの評価を行う。
  論文  参考訳（メタデータ） (2020-05-01T02:51:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。