論文の概要: Evaluating Neural Language Models as Cognitive Models of Language
Acquisition
- arxiv url: http://arxiv.org/abs/2310.20093v1
- Date: Tue, 31 Oct 2023 00:16:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 16:57:58.338259
- Title: Evaluating Neural Language Models as Cognitive Models of Language
Acquisition
- Title(参考訳): 言語獲得の認知モデルとしての言語モデルの評価
- Authors: H\'ector Javier V\'azquez Mart\'inez, Annika Lea Heuser, Charles Yang,
Jordan Kodner
- Abstract要約: 我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。
小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。
子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
- 参考スコア(独自算出の注目度): 4.779196219827507
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of neural language models (LMs) on many technological tasks has
brought about their potential relevance as scientific theories of language
despite some clear differences between LM training and child language
acquisition. In this paper we argue that some of the most prominent benchmarks
for evaluating the syntactic capacities of LMs may not be sufficiently
rigorous. In particular, we show that the template-based benchmarks lack the
structural diversity commonly found in the theoretical and psychological
studies of language. When trained on small-scale data modeling child language
acquisition, the LMs can be readily matched by simple baseline models. We
advocate for the use of the readily available, carefully curated datasets that
have been evaluated for gradient acceptability by large pools of native
speakers and are designed to probe the structural basis of grammar
specifically. On one such dataset, the LI-Adger dataset, LMs evaluate sentences
in a way inconsistent with human language users. We conclude with suggestions
for better connecting LMs with the empirical study of child language
acquisition.
- Abstract(参考訳): 多くの技術的タスクにおけるニューラル言語モデル(LM)の成功は、LMトレーニングと子言語習得の間に明らかな違いがあるにもかかわらず、言語科学理論としての可能性をもたらした。
本稿では,LMの統語能力を評価する上で最も顕著なベンチマークのいくつかは,十分に厳密でないかもしれないと論じる。
特に,テンプレートベースのベンチマークでは,言語の理論的,心理学的な研究で一般的に見られる構造的多様性が欠如していることが示された。
小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。
本研究は, 言語話者の話者プールの勾配受容性を評価し, 文法の構造的基礎を特に探究する目的で, 容易に利用できる, 慎重に計算されたデータセットの利用を提唱する。
そのようなデータセット、li-adgerデータセット、lmsは、人間の言語ユーザと一貫性のない方法で文を評価する。
子どもの言語習得に関する実証的研究と、LMをよりよく結びつけることを提案する。
関連論文リスト
- A systematic investigation of learnability from single child linguistic
input [13.800975990242922]
言語モデル(LM)は言語的に一貫性のあるテキストを生成するのに顕著な能力を示した。
しかし、これらのモデルのトレーニングデータと、子供が受ける言語的入力との間には、大きなギャップがある。
本研究は, 一人の子どもの言語入力のサブセットに基づいて, LMを訓練することに焦点を当てた。
論文 参考訳(メタデータ) (2024-02-12T18:58:58Z) - Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - Leveraging LLMs for Synthesizing Training Data Across Many Languages in
Multilingual Dense Retrieval [55.926286265584565]
SWIM-IRは, 人間の監督を必要とせずに多言語密集検索モデルを訓練するための33言語を含む合成検索訓練データセットである。
XOR-Retrieve (cross-lingual)、XTREME-UP (cross-lingual)、MIRACL (monolingual)の3つの検索ベンチマークを用いて、多言語高密度検索モデルの合成微調整について検討する。
論文 参考訳(メタデータ) (2023-11-10T00:17:10Z) - JCoLA: Japanese Corpus of Linguistic Acceptability [3.6141428739228902]
JCoLA ( Japanese Corpus of Linguistic Acceptability) は10,020の文に二分的受容性判定を付加した文章である。
JCoLAにおける9種類の日本語モデルの構文的知識を評価する。
論文 参考訳(メタデータ) (2023-09-22T07:35:45Z) - The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122
Language Variants [82.6462524808751]
私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。
このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
論文 参考訳(メタデータ) (2023-08-31T17:43:08Z) - Are Large Language Models Robust Coreference Resolvers? [17.60248310475889]
我々は、コア参照のプロンプトが、現在の教師なしコア参照システムより優れていることを示す。
さらなる調査により、命令調整されたLMが驚くほどドメイン、言語、時間にまたがって一般化されることが判明した。
論文 参考訳(メタデータ) (2023-05-23T19:38:28Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳(メタデータ) (2022-10-23T00:37:08Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z) - Rethinking Relational Encoding in Language Model: Pre-Training for
General Sequences [23.806325599416134]
言語モデル事前トレーニングは、非自然言語ドメインにおけるシーケンス毎の関係のモデリングに失敗する。
LMPTと深い構造保存メトリック学習を組み合わせ、よりリッチな埋め込みを生成するフレームワークを開発しています。
我々のアプローチは下流タスクで顕著なパフォーマンス改善を提供します。
論文 参考訳(メタデータ) (2021-03-18T15:51:04Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳(メタデータ) (2020-10-20T17:31:07Z) - Recurrent Neural Network Language Models Always Learn English-Like
Relative Clause Attachment [17.995905582226463]
英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。
英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
論文 参考訳(メタデータ) (2020-05-01T01:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。