論文の概要: Developmentally-plausible Working Memory Shapes a Critical Period for Language Acquisition
- arxiv url: http://arxiv.org/abs/2502.04795v2
- Date: Mon, 17 Feb 2025 01:55:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:04:59.980230
- Title: Developmentally-plausible Working Memory Shapes a Critical Period for Language Acquisition
- Title（参考訳）: 言語習得に欠かせない言語記憶の発達的解明
- Authors: Masato Mita, Ryo Yoshida, Yohei Oseki,
- Abstract要約: 大きな言語モデルは一般的な言語能力を持っているが、人間よりも効率が低い。
本研究では,臨界期における作業記憶の発達特性を統合する手法を提案する。
- 参考スコア（独自算出の注目度）: 8.43537886261228
- License:
- Abstract: Large language models possess general linguistic abilities but acquire language less efficiently than humans. This study proposes a method for integrating the developmental characteristics of working memory during the critical period, a stage when human language acquisition is particularly efficient, into the training process of language models. The proposed method introduces a mechanism that initially constrains working memory during the early stages of training and gradually relaxes this constraint in an exponential manner as learning progresses. Targeted syntactic evaluation shows that the proposed method outperforms conventional methods without memory constraints or with static memory constraints. These findings not only provide new directions for designing data-efficient language models but also offer indirect evidence supporting the role of the developmental characteristics of working memory as the underlying mechanism of the critical period in language acquisition.
- Abstract（参考訳）: 大きな言語モデルは一般的な言語能力を持っているが、人間よりも効率が低い。
本研究では,人間の言語習得が特に効率的である臨界期の作業記憶の発達特性を,言語モデルの学習過程に統合する手法を提案する。
提案手法は,学習の初期段階において動作記憶を制約する機構を導入し,学習が進むにつれて指数関数的にこの制約を緩やかに緩和する。
目標構文評価の結果,提案手法はメモリ制約や静的メモリ制約を伴わずに従来の手法よりも優れていた。
これらの知見は、データ効率のよい言語モデルを設計するための新たな方向性を提供するだけでなく、言語習得における臨界期間のメカニズムとして、作業記憶の発達特性の役割を間接的に裏付ける証拠を提供する。
関連論文リスト
- Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。
我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
論文 参考訳（メタデータ） (2024-12-23T10:23:47Z) - Detecting Memorization in Large Language Models [0.0]
大規模言語モデル(LLM)は自然言語処理において驚くべき結果を得たが、トレーニングデータの一部を記憶する傾向にある。
従来の暗記検出方法は出力確率や損失関数に依存している。
LLM内のニューロンの活性化を調べることによって,記憶を正確に検出する解析手法を提案する。
論文 参考訳（メタデータ） (2024-12-02T00:17:43Z) - Assessing Code Generation with Intermediate Languages [6.999311675957218]
本研究では、様々なプログラミング言語、自然言語ソリューション、擬似コードを含む中間言語の利用について検討する。
以上の結果から, 中間言語は一般に, 最先端性能を達成できていない大規模モデルにおいて, 高い有効性を示すことが明らかとなった。
論文 参考訳（メタデータ） (2024-07-07T15:35:41Z) - In-Memory Learning: A Declarative Learning Framework for Large Language
Models [56.62616975119192]
本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。
このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。
フレームワークの有効性を実証し、この問題に対する洞察を提供する。
論文 参考訳（メタデータ） (2024-03-05T08:25:11Z) - Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism
of Language Models [49.39276272693035]
大規模事前学習型言語モデルは、顕著な記憶能力を示している。
プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。
1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
論文 参考訳（メタデータ） (2023-05-16T03:50:38Z) - Improving Temporal Generalization of Pre-trained Language Models with
Lexical Semantic Change [28.106524698188675]
近年の研究では、大規模なニューラルネットワークモデルが時間的一般化能力の低下に悩まされていることが明らかになっている。
本稿では,収束した言語モデルを学習後処理するための,単純かつ効果的な語彙レベルのマスキング手法を提案する。
論文 参考訳（メタデータ） (2022-10-31T08:12:41Z) - Training Language Models with Memory Augmentation [28.4608705738799]
本稿では,メモリ拡張による言語モデル学習のための新しいトレーニング手法を提案する。
当社のアプローチでは、バッチ内のサンプルをアクセス可能なメモリとして直接取り込むトレーニング目標を用いています。
従来のメモリ拡張アプローチよりも大幅に向上したことを示す。
論文 参考訳（メタデータ） (2022-05-25T11:37:29Z) - Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。
すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
論文 参考訳（メタデータ） (2021-10-09T07:00:38Z) - Pre-trained Language Model Based Active Learning for Sentence Matching [18.48335957524662]
文マッチングのための事前学習型言語モデルに基づく能動的学習手法を提案する。
我々のアプローチは、ラベル付きトレーニングインスタンスを少なくすることで、より精度の高いものを実現できます。
論文 参考訳（メタデータ） (2020-10-12T08:24:36Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2020-04-29T14:07:18Z) - Data Annealing for Informal Language Understanding Tasks [66.2988222278475]
本稿では,非公式な言語タスクのパフォーマンスギャップを埋めるために,データアニーリング変換学習手法を提案する。
これは、非公式言語でBERTのような事前訓練されたモデルを利用することに成功した。
論文 参考訳（メタデータ） (2020-04-24T09:27:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。