論文の概要: LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

• arxiv url: http://arxiv.org/abs/2608.13545v1
• Date: Thu, 13 Aug 2026 17:56:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.635521
• Title: LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure
• Title（参考訳）: LittleLearner: 教育的に制御された知識公開の下での言語モデル
• Abstract要約: 我々は、モデルがどのようにデータを取得し、表現し、利用するかを研究するために、発達的に制限されたサンドボックスとしてLITTLECURRICULUMとLITTLEREARNERをリリースする。 我々は,サンドボックスの有用性を,学習後の学習と文脈内学習を通じて新しい知識を注入する実験の1組で説明する。
• 参考スコア（独自算出の注目度）: 56.83509505408756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models are trained on heterogeneous web-scale text corpora. Consequently, studying knowledge and skill acquisition is difficult, as prior exposure to related content is hard to characterize. To address this challenge, we introduce LITTLECURRICULUM, a curated 88B-token pretraining corpus tailored to U.S. elementary school material, explicitly excluding concepts, facts, and vocabulary taught above Grade 5. Training a 5B-parameter LLM from scratch on LITTLECURRICULUM yields LITTLELEARNER, a model with sufficient language competence for open-ended evaluation, yet with clear knowledge and capability boundaries mapped to interpretable curriculum guidelines. We release LITTLECURRICULUM and LITTLELEARNER as a developmentally restricted sandbox to study how models acquire, represent, and use data under a well-defined training scope. We illustrate the sandbox's utility in a first suite of experiments on injecting new knowledge through post-training and in-context learning. These methods let LITTLELEARNER better utilize existing knowledge, but do not raise out-of-scope capabilities. Our findings underscore the value of this controlled environment for future investigations.
• Abstract（参考訳）: 現代言語モデルは異種Webスケールテキストコーパスで訓練されている。 そのため,知識と技能習得の習得は,関連コンテンツへの事前の露出が難しいため困難である。 この課題に対処するために,米国小学校の教材に合わせた88B-tokenプレトレーニングコーパスであるLITTLECURRICULUMを導入し,概念,事実,語彙を明確に排除した。 LITTLECURRICULUM 上で 5B パラメータ LLM をスクラッチからトレーニングすると LITTLELEARNER が得られる。 LITTLECURRICULUM と LITTLELEARNER を開発制限サンドボックスとしてリリースし、モデルがどのようにデータを取得し、表現し、使用しているかを、適切に定義された訓練範囲下で研究する。 我々は,サンドボックスの有用性を,学習後の学習と文脈内学習を通じて新しい知識を注入する実験の1組で説明する。 これらの手法により、LITTLELEARNERは既存の知識をより活用できるが、スコープ外の能力を高めることはできない。 本研究は今後,この制御環境の価値を実証するものである。

関連論文リスト

• Pre-training Limited Memory Language Models with Internal and External Knowledge [33.43876534067786]
  メモリ言語モデル(LMLM: Limited Memory Language Models)は,事前学習中に外部データベースに事実知識を外部化する言語モデルである。 実験により, LMLM は標準ベンチマークにおいてかなり大きな LLM と比較して, 競争性能が向上することを示した。
  論文  参考訳（メタデータ） (2025-05-21T19:26:03Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。