論文の概要: Prosodic Structure as a Critical Component in Phonemic Language Modelling at BabyLM Scale

• arxiv url: http://arxiv.org/abs/2610.24172v1
• Date: Fri, 16 Oct 2026 19:46:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 10:30:38.336648
• Title: Prosodic Structure as a Critical Component in Phonemic Language Modelling at BabyLM Scale
• Title（参考訳）: BabyLMスケール音声言語モデルにおける韻律構造
• Abstract要約: 幼児の韻律推定値の供給がBabyLMスケールでの音韻言語モデリングを改善するかどうかを問う。 全ての条件は、BERTLMとして1000万語と1億語で訓練される。 我々の新しい語彙決定タスクは、単語の類似性、トークンの親しみ、および語彙を要因として区別する知見を改良する。
• 参考スコア（独自算出の注目度）: 10.026496861838448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human children learn language from continuous, prosodically structured speech long before they can read, yet almost all language models train on orthographic text. Building on previous phonemic BabyLM training (Goriely et al., 2024; arXiv:2410.22906), we ask whether supplying an estimate of the prosody infants exploit improves phonemic language modelling at BabyLM scale. We compare an orthographic baseline to three conditions forming a ladder of phonological richness. All conditions are trained as BERT MLMs at 10M and 100M words. Addressing the ecological validity of existing metrics in the small-data regime, we build a lexical decision task and two semantic organisation tasks. Our new lexical decision task offers improved insights into the distinction between wordlikeness, token familiarity, and lexicality as factors. Triphone phonotactic control and pseudo-log-likelihood scoring shows that these scores reflect phonotactic familiarity rather than wordhood: every model sits near or below chance on an adversarial inverted condition, revealing prior results of this kind as partly artefactual. On our new semantic tasks, a prosodically annotated phoneme stream gives the strongest taxonomic organisation at both the 10M and 100M word scales. Phonemic models with boundary structure are competitive with the orthographic baseline. These findings suggest that prosodic structure is a key component of phonemic language modelling in the small-data regime most analogous to infant learning.
• Abstract（参考訳）: 人間の子供たちは、読み取るよりもずっと前に、連続的で韻律的に構造化された音声から言語を学ぶが、ほとんどの言語モデルは、正書法で訓練されている。 従来の音韻的BabyLMトレーニング(Goriely et al , 2024; arXiv:2410.22906)に基づいて, 韻律的幼児の搾取がBabyLMスケールでの音韻的言語モデリングを改善するか否かを問う。 音韻的豊かさのはしごを形成する3つの条件を正書法ベースラインと比較する。 全ての条件は、BERT MLMとして10Mと1Mワードで訓練される。 小データ体制における既存のメトリクスの生態学的妥当性に対処するため、語彙的決定タスクと2つの意味的組織タスクを構築します。 我々の新しい語彙決定タスクは、単語の類似性、トークンの親しみ、および語彙を要因として区別する知見を改良する。 Triphone phonotactic control and pseudo-log-like-hood scores shows that these scores reflect phonotactic familiarity than wordhood: every model sat near or under chance on a adversarial inverted condition, revealed out earlier results of this kind as part Artefactual。 新しいセマンティックタスクでは、韻律的に注釈付けされた音素ストリームが、1000万語と1億語の両方で最強の分類組織を与えます。 境界構造を持つ音韻モデルは、正書法ベースラインと競合する。 これらの結果から, 韻律構造は幼児学習に最も類似した小データ構造における音素言語モデリングの鍵となる要素であることが示唆された。

関連論文リスト

• Quantifying the Generation Modality Gap in Speech-Text Language Models [22.8588553114451]
  純粋な音声言語モデルは、コヒーレントなコンテンツを生成する際に、テキストや音声-テキスト言語モデルに遅れをとることが多い。 本研究では,連続音響特徴量生成のためのフローマッチングに基づいて,音声モデル群における音声文のモダリティギャップについて検討する。 我々は、一致したデータに基づいて訓練された音声のみ、テキストのみ、および音声テキスト言語モデルを比較する、統合された世代ベース評価スイートを構築した。
  論文  参考訳（メタデータ） (2026-09-13T19:09:07Z)
• Can large audio language models understand child stuttering speech? speech summarization, and source separation [3.2684800403907506]
  子どもの発話は、音響、韻律、言語発達における大人のスピーチとは異なる(反復、延長、ブロック) 近年の大規模音声言語モデル (LALM) は, クロスモーダルな音声理解を強く示している。 我々は,現在あるLALMを,インタビュー(混合話者)と読書課題(単一子ども)の2つの設定で評価した。
  論文  参考訳（メタデータ） (2025-10-21T18:53:34Z)
• Small Language Models Also Work With Small Vocabularies: Probing the Linguistic Abilities of Grapheme- and Phoneme-Based Baby Llamas [7.585433383340306]
  トークン化のない,音素および音素に基づく言語モデルにより,強力な言語性能が得られることを示す。 以上の結果から,より言語学的に妥当な言語モデルを作成する上で,有望な方向性が示唆された。
  論文  参考訳（メタデータ） (2024-10-02T12:36:08Z)
• PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
  音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。 我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
  論文  参考訳（メタデータ） (2024-04-03T04:53:14Z)
• A systematic investigation of learnability from single child linguistic input [12.279543223376935]
  言語モデル(LM)は言語的に一貫性のあるテキストを生成するのに顕著な能力を示した。 しかし、これらのモデルのトレーニングデータと、子供が受ける言語的入力との間には、大きなギャップがある。 本研究は, 一人の子どもの言語入力のサブセットに基づいて, LMを訓練することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-02-12T18:58:58Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Generative Spoken Language Model based on continuous word-sized audio tokens [52.081868603603844]
  本稿では,単語サイズ連続評価音声埋め込みに基づく生成音声言語モデルを提案する。 結果として得られるモデルは、単語サイズの連続埋め込みに基づく最初の生成言語モデルである。
  論文  参考訳（メタデータ） (2023-10-08T16:46:14Z)
• BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models [56.93604813379634]
  音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。 語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。 テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-06-02T12:54:38Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Word Acquisition in Neural Language Models [0.38073142980733]
  ニューラルネットワークモデルは,学習中に個々の単語を習得し,学習曲線を抽出し,600以上の単語の獲得年齢を推定する。 子どもや言語モデルでは, 具体性, 単語長, 語彙クラスの影響が顕著に異なることがわかった。
  論文  参考訳（メタデータ） (2021-10-05T23:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。