論文の概要: Lost but not erased: Finding traces of a forgotten language in neural speech models

• arxiv url: http://arxiv.org/abs/2608.25976v1
• Date: Wed, 26 Aug 2026 16:32:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.909951
• Title: Lost but not erased: Finding traces of a forgotten language in neural speech models
• Title（参考訳）: 失われたが消されていない:ニューラルスピーチモデルにおける忘れられた言語の痕跡を見つける
• Abstract要約: 国際養子は、もはや話すことも理解できない出生言語の音韻学的痕跡を保有している。 その結果,第1言語の痕跡は第2言語訓練を通じて継続したが,主に低音域前層に留まっていた。 これらのトレースは機能的であり、初期の露出を持つモデルは、ナイーブモデルよりも14%速く失われた最初の言語を再学習した。
• 参考スコア（独自算出の注目度）: 0.630697824608134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: International adoptees retain phonological traces of a birth language they can no longer speak or comprehend, a persistence typically attributed to a biologically-timed critical period. We asked whether it could instead reflect the ordinary dynamics of learning, using automatic speech recognition models that simulate the international adoptee experience without maturational confounds. Models were trained on one language and then abruptly switched to a second. We found that traces of the first language persisted throughout second-language training, but mainly in the lowest, pre-phonemic layers. These traces were functional, as models with early exposure re-learned their lost first language 14% faster than naive models; this advantage held even against models adopted early from a related language and disappeared when the earliest layers were substituted from a non-adopted model. We argue that these critical-period effects reflect entrenchment of foundational representations rather than a maturational loss of plasticity, and that experience plays a central role in critical periods in language acquisition.
• Abstract（参考訳）: 国際養子は、生物学的に時間的な臨界期に起因する持続性である、もはや話せない、または理解できない出生言語の音韻学的痕跡を保有する。 そこで我々は,学習の通常のダイナミクスを反映できるかどうかを質問し,熟成の困難を伴わずに国際的実践経験をシミュレートする自動音声認識モデルを用いて検討した。 モデルは1つの言語で訓練され、突然1秒に切り替えられた。 その結果,第1言語の痕跡は第2言語訓練を通じて継続したが,主に低音域前層に留まっていた。 これらのトレースは機能的であり、初期の露光で失われた最初の言語をナイーブモデルよりも14%速く再学習した。 これらの臨界周期効果は、可塑性の成熟的喪失よりも基礎的な表現の強化を反映しており、言語習得における重要な期間において、経験が中心的な役割を担っていると論じる。

関連論文リスト

• Generating in the Limit with Infinitely Many Hallucinations [86.48063079851867]
  最近導入された言語生成のフレームワークは、学習者がターゲット言語から有効で見えない文字列を生成する必要がある。 我々は、新しい精度の概念を導入し、この問題を古典的なリコール精度トレードオフとして再考する。 この緩和は、敵が標的言語の大部分を永久に保持すると、リコールを厳密に増加させる可能性があることを示す。
  論文  参考訳（メタデータ） (2026-06-08T09:58:13Z)
• Tracing Multilingual Factual Knowledge Acquisition in Pretraining [83.93508231653091]
  大規模言語モデル(LLM)は、事前学習データに存在する多言語事実知識をリコールすることができる。 我々は,OLMo-7Bに焦点をあてて,事前学習中に現実のリコールと言語間の整合性がどのように進化するかを辿った。 ほとんどの言語では、正確性と一貫性が時間の経過とともに向上していることが分かりました。
  論文  参考訳（メタデータ） (2025-05-20T18:39:56Z)
• Developmentally-plausible Working Memory Shapes a Critical Period for Language Acquisition [8.43537886261228]
  大きな言語モデルは一般的な言語能力を持っているが、人間よりも効率が低い。 本研究では,臨界期における作業記憶の発達特性を統合する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-07T09:58:58Z)
• Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
  本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。 我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
  論文  参考訳（メタデータ） (2024-12-23T10:23:47Z)
• The formation of perceptual space in early phonetic acquisition: a cross-linguistic modeling approach [0.0]
  本研究では,学習者が早期音声習得において知覚空間をどのように構成するかを検討する。 学習した隠れ表現の形状と音韻カテゴリーを分類する能力について検討する。
  論文  参考訳（メタデータ） (2024-07-26T04:18:36Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• Improving Temporal Generalization of Pre-trained Language Models with Lexical Semantic Change [28.106524698188675]
  近年の研究では、大規模なニューラルネットワークモデルが時間的一般化能力の低下に悩まされていることが明らかになっている。 本稿では,収束した言語モデルを学習後処理するための,単純かつ効果的な語彙レベルのマスキング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-31T08:12:41Z)
• Perception Point: Identifying Critical Learning Periods in Speech for Bilingual Networks [58.24134321728942]
  ディープニューラルベース視覚唇読解モデルにおける認知的側面を比較し,識別する。 我々は、認知心理学におけるこれらの理論と独自のモデリングの間に強い相関関係を観察する。
  論文  参考訳（メタデータ） (2021-10-13T05:30:50Z)
• Uncovering Constraint-Based Behavior in Neural Models via Targeted Fine-Tuning [9.391375268580806]
  本研究は,言語知識が不明な言語内での競合する言語プロセスを示す。 人間の行動は言語間で類似していることがわかったが、モデル行動の言語間差異は見いだされている。 以上の結果から,言語における言語的制約と相対的ランクの双方をモデルが学習する必要があることが示唆された。
  論文  参考訳（メタデータ） (2021-06-02T14:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。