論文の概要: Do Construction Distributions Shape Formal Language Learning In German BabyLMs?

• arxiv url: http://arxiv.org/abs/2503.11593v1
• Date: Fri, 14 Mar 2025 17:02:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:07:53.152489
• Title: Do Construction Distributions Shape Formal Language Learning In German BabyLMs?
• Title（参考訳）: ドイツのベビーフィルムにおける形状形式言語学習は構成分布に影響を及ぼすか?
• Authors: Bastian Bunzeck, Daniel Duran, Sina Zarrieß,
• Abstract要約: ドイツ語の児童指向音声における発話レベルの構成分布が形式的言語能力に与える影響を解析する。 トレーニングデータ中の構造が著しく異なる場合、トラジェクトリは驚くほど堅牢であることがわかった。 我々は、発達的に妥当なデータに基づいて訓練されたLMが、言語刺激がいかに豊かであるか、あるいは不十分であるかについての議論に寄与すると主張している。
• 参考スコア（独自算出の注目度）: 8.286541037480509
• License:
• Abstract: We analyze the influence of utterance-level construction distributions in German child-directed speech on the resulting formal linguistic competence and the underlying learning trajectories for small language models trained on a novel collection of developmentally plausible language data for German. We find that trajectories are surprisingly robust for markedly different distributions of constructions in the training data, which have little effect on final accuracies and almost no effect on global learning trajectories. While syntax learning benefits from more complex utterances, lexical learning culminates in better scores with more fragmentary data. We argue that LMs trained on developmentally plausible data can contribute to debates on how rich or impoverished linguistic stimuli actually are.
• Abstract（参考訳）: 我々は,ドイツ語の発達的可読言語データの新しいコレクションに基づいて訓練された小言語モデルに対する,ドイツ語の子供指向音声における発話レベルの構成分布が,形式的言語能力と基礎となる学習軌跡に与える影響を分析した。 その結果, 軌道は, 最終精度にはほとんど影響を与えず, グローバルな学習トラジェクトリにはほとんど影響を与えない, トレーニングデータにおいて, 明らかに異なる構成の分布に対して驚くほど堅牢であることがわかった。 構文学習はより複雑な発話の恩恵を受けるが、語彙学習はより断片的なデータでより良いスコアで終わる。 我々は、発達的に妥当なデータに基づいて訓練されたLMが、言語刺激がいかに豊かであるか、あるいは不十分であるかについての議論に寄与すると主張している。

関連論文リスト

• A Distributional Perspective on Word Learning in Neural Language Models [57.41607944290822]
  言語モデルにおける単語学習のための広く合意されたメトリクスは存在しない。 我々は、先行研究で研究された分布シグネチャは、重要な分布情報の取得に失敗すると主張している。 我々は、スクラッチから訓練する小さな言語モデルを選択するための学習軌跡を得る。
  論文  参考訳（メタデータ） (2025-02-09T13:15:59Z)
• The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model [59.357993924917]
  本研究では,大規模言語モデル(LLM)における事前学習過程における多言語機能の進化について検討する。 本稿では,LLMが新たな言語能力を習得する過程全体を記述したBabel Tower仮説を提案する。 本論文では,多言語コードLLMのための事前学習コーパスを最適化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-10T08:28:57Z)
• From Babbling to Fluency: Evaluating the Evolution of Language Models in Terms of Human Language Acquisition [6.617999710257379]
  本稿では,LMの能力を評価するための3段階のフレームワークを提案する。 言語研究の手法を用いて, LMの生成能力を評価する。
  論文  参考訳（メタデータ） (2024-10-17T06:31:49Z)
• Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment [42.624862172666624]
  本稿では,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。 多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。 実験結果から,事前学習トークンが0.1文未満であっても,アライメントフレームワークは生成言語モデルの言語間相互性を大幅に向上させることが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-14T11:24:08Z)
• Evaluating Neural Language Models as Cognitive Models of Language Acquisition [4.779196219827507]
  我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。 小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。 子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
  論文  参考訳（メタデータ） (2023-10-31T00:16:17Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• A Latent Space Theory for Emergent Abilities in Large Language Models [5.033924641692716]
  言語はランダムに生成されるのではなく、情報を伝えることが示される。 言語とその根底にある意味の強い関係は、疎結合の分布をもたらす。 ビッグデータと大規模モデルに基づいて訓練されたLLMの出現により、言語の境界分布を正確に評価できるようになった。
  論文  参考訳（メタデータ） (2023-04-19T20:45:01Z)
• Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.38278330678965]
  一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。 これにより、大規模なデータセットで数十億の外国語トークンが生成される。 そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
  論文  参考訳（メタデータ） (2022-04-17T23:56:54Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• A Deep Reinforced Model for Zero-Shot Cross-Lingual Summarization with Bilingual Semantic Similarity Rewards [40.17497211507507]
  言語間テキスト要約は、実際は重要だが未探索の課題である。 本稿では,エンドツーエンドのテキスト要約モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-27T21:51:38Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。