論文の概要: Filling in the Mechanisms: How do LMs Learn Filler-Gap Dependencies under Developmental Constraints?

• arxiv url: http://arxiv.org/abs/2604.14459v1
• Date: Wed, 15 Apr 2026 22:32:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.63646
• Title: Filling in the Mechanisms: How do LMs Learn Filler-Gap Dependencies under Developmental Constraints?
• Title（参考訳）: メカニズムの充足: LMはどのようにして発達制約下でFiller-Gap依存を学習するか?
• Authors: Atrey Desai, Sathvik Nair,
• Abstract要約: 我々は,ホイルクエストとトピック化の間で,フィラーギャップ依存性の表現が伝達されるかどうかを評価する。 この結果から,学習データに制限がある場合,共有的かつアイテムに敏感なメカニズムが発達する可能性が示唆された。 さらに重要なのは、LMは人間よりもはるかに多くのデータを必要とすることだ。
• 参考スコア（独自算出の注目度）: 0.31511847280063693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For humans, filler-gap dependencies require a shared representation across different syntactic constructions. Although causal analyses suggest this may also be true for LLMs (Boguraev et al., 2025), it is still unclear if such a representation also exists for language models trained on developmentally feasible quantities of data. We applied Distributed Alignment Search (DAS, Geiger et al. (2024)) to LMs trained on varying amounts of data from the BabyLM challenge (Warstadt et al., 2023), to evaluate whether representations of filler-gap dependencies transfer between wh-questions and topicalization, which greatly vary in terms of their input frequency. Our results suggest shared, yet item-sensitive mechanisms may develop with limited training data. More importantly, LMs still require far more data than humans to learn comparable generalizations, highlighting the need for language-specific biases in models of language acquisition.
• Abstract（参考訳）: 人間にとって、フィラーギャップ依存は、異なる構文構造をまたいだ共有表現を必要とする。 因果解析から LLM にも当てはまる可能性が示唆されているが (Boguraev et al , 2025) 、そのような表現が発達可能なデータ量で訓練された言語モデルにも存在するかどうかは不明である。 We applied Distributed Alignment Search (DAS, Geiger et al (2024)) to the BabyLM Challenge (Warstadt et al , 2023) to evaluate on various amount of data from the BabyLM Challenge (Warstadt et al , 2023)。 この結果から,学習データに制限がある場合,共有的かつアイテムに敏感なメカニズムが発達する可能性が示唆された。 さらに重要なのは、LMは匹敵する一般化を学ぶために人間よりもはるかに多くのデータを必要としており、言語習得のモデルにおける言語固有のバイアスの必要性を強調している。

関連論文リスト

• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• Acquiring Linguistic Knowledge from Multimodal Input [10.965306219502303]
  子どもとは対照的に、言語モデル(LM)は言語習得時のデータ効率が著しく劣っている。 我々は、このデータ効率ギャップは、典型的な言語モデルの学習環境におけるマルチモーダル入力の欠如と基礎化によって生じるという仮説を検証した。
  論文  参考訳（メタデータ） (2024-02-27T23:29:10Z)
• Evaluating Neural Language Models as Cognitive Models of Language Acquisition [4.779196219827507]
  我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。 小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。 子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
  論文  参考訳（メタデータ） (2023-10-31T00:16:17Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• Data Distribution Bottlenecks in Grounding Language Models to Knowledge Bases [9.610231090476857]
  言語モデル(LM)は、自然言語と形式言語の両方を理解し、生成する際、すでに顕著な能力を示している。 本論文は,知識ベース質問応答(KBQA)を課題として,LMが直面する課題を明らかにすることを目的とした実験的研究である。 実験の結果,提案手法を応用しても,様々な次元において,先進的な小・大規模言語モデルの性能が低下していることが判明した。
  論文  参考訳（メタデータ） (2023-09-15T12:06:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。