論文の概要: A retrospective analysis on the use of LLMs to study infant syntax learning
- arxiv url: http://arxiv.org/abs/2609.26539v1
- Date: Tue, 22 Sep 2026 14:58:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 01:05:39.71339
- Title: A retrospective analysis on the use of LLMs to study infant syntax learning
- Title(参考訳): LLMを用いた幼児の構文学習の振り返り分析
- Abstract要約: 大型言語モデル (LLM) は、子どもが発達の初期段階でどのように構文を取得するかを調べるために、ますます使われてきている。
これはBabyLMチャレンジの中心的な科学的目標であり、発展的に現実的なコーパスで訓練されたまま、人間レベルの構文性能を達成するモデルを開発するためのコミュニティ全体の取り組みである。
- 参考スコア(独自算出の注目度): 16.64653069179642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have increasingly been used to investigate how children acquire syntax at an early stage of development. This is notably the central scientific goal of the BabyLM challenge, a community-wide effort to develop models that achieve human-level syntactic performance while being trained on developmentally realistic corpora. In this paper, we reflect on the use of LLMs in the study of infant syntax learning by providing an epistemological assessment of several studies from this research program. We discuss how datasets are built, which models are implemented, how they are trained and syntactically evaluated. We observe significant assumptions in the methodology of BabyLM and related studies, thus mitigating their theoretical scope. We additionally observe that using developmentally-realistic corpora have limited effects on models performance on commonly-used benchmarks, which suggest important computational differences between LLMs and the infant syntax learner.
- Abstract(参考訳): 大型言語モデル (LLM) は、子どもが発達の初期段階でどのように構文を取得するかを調べるために、ますます使われてきている。
これはBabyLMチャレンジの中心的な科学的目標であり、発展的に現実的なコーパスで訓練されたまま、人間レベルの構文性能を達成するモデルを開発するためのコミュニティ全体の取り組みである。
本稿では,乳幼児の構文学習におけるLSMの使用について,本研究プログラムにおけるいくつかの研究の認識学的評価を提供することにより考察する。
データセットがどのように構築され、どのモデルが実装され、どのようにトレーニングされ、構文的に評価されるかについて議論する。
本研究では,BabyLMの方法論とその関連研究における重要な仮定を考察し,それらの理論的スコープを緩和する。
さらに,LLMと幼児の構文学習者の間で重要な計算的差異が示唆されるように,発達現実的なコーパスの使用が,一般的なベンチマークにおけるモデル性能に限定的な影響を及ぼすことも観察した。
関連論文リスト
- Multimodal LLM Augmented Reasoning for Interpretable Visual Perception Analysis [19.032828729570458]
我々は、人間の視覚知覚における複雑さに関連する心理学と認知科学の確立した原理と説明を用いる。
本研究の目的は、視覚知覚に関連する様々な説明可能性原理をMLLMにベンチマークすることである。
論文 参考訳(メタデータ) (2025-04-16T22:14:27Z) - Investigating the Zone of Proximal Development of Language Models for In-Context Learning [59.91708683601029]
大規模言語モデル(LLM)の文脈内学習(ICL)の振る舞いを分析するための学習分析フレームワークを提案する。
我々は,各例のモデル性能に基づいて,LLMのZPDを測定することにより,ZPD理論をICLに適用する。
本研究はICLの複雑な多面的動作を明らかにし,この手法の理解と活用に関する新たな知見を提供する。
論文 参考訳(メタデータ) (2025-02-10T19:36:21Z) - The potential -- and the pitfalls -- of using pre-trained language models as cognitive science theories [2.6549754445378344]
PLMを認知科学理論として活用する上での課題について論じる。
我々は,PLM性能の指標を人的性能の尺度にマッピングするために研究者が用いた仮定をレビューする。
PLMを認知・認知発達の信頼できる指標として用いるための基準を列挙する。
論文 参考訳(メタデータ) (2025-01-22T05:24:23Z) - Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning [15.919493497867567]
本研究では,VALSEベンチマークを用いたマルチモーダル大規模言語モデル(MLLM)の性能評価を目的とした。
我々は,モデルサイズや事前学習データセットの異なる最先端MLLMの包括的評価を行った。
論文 参考訳(メタデータ) (2024-07-17T11:26:47Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - CLIMB: Curriculum Learning for Infant-inspired Model Building [6.4766496232839685]
本稿では,BabyLM ChallengeのSTRICT-SMALLトラックへのチームの貢献について述べる。
課題は、1000万ワードの比較的小さなトレーニングデータセットを使用して、言語モデルをゼロからトレーニングすることである。
認知に動機づけられたカリキュラム学習の3つの変種を実験し,そのモデルの性能に及ぼす影響を解析した。
論文 参考訳(メタデータ) (2023-11-15T11:48:16Z) - Evaluating Neural Language Models as Cognitive Models of Language
Acquisition [4.779196219827507]
我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。
小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。
子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
論文 参考訳(メタデータ) (2023-10-31T00:16:17Z) - Exploring the Cognitive Knowledge Structure of Large Language Models: An
Educational Diagnostic Assessment Approach [50.125704610228254]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。
近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。
ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
論文 参考訳(メタデータ) (2023-10-12T09:55:45Z) - On Learning to Summarize with Large Language Models as References [101.79795027550959]
大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。
より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
論文 参考訳(メタデータ) (2023-05-23T16:56:04Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。