論文の概要: From Amateur to Master: Infusing Knowledge into LLMs via Automated Curriculum Learning

• arxiv url: http://arxiv.org/abs/2510.26336v1
• Date: Thu, 30 Oct 2025 10:43:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.758195
• Title: From Amateur to Master: Infusing Knowledge into LLMs via Automated Curriculum Learning
• Title（参考訳）: アマチュアからマスターへ:自動カリキュラム学習によるLLMへの知識注入
• Authors: Nishit Neema, Srinjoy Mukherjee, Sapan Shah, Gokul Ramakrishnan, Ganesh Venkatesh,
• Abstract要約: LLM(Large Language Models)は、一般的なタスクでは優れるが、経済学や心理学のような専門分野では不十分である。 ACER(Automated Curriculum-Enhanced Regimen)は、ジェネラリストモデルを幅広い能力を犠牲にすることなく、ドメインエキスパートに変換する。
• 参考スコア（独自算出の注目度）: 1.4801204120360347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) excel at general tasks but underperform in specialized domains like economics and psychology, which require deep, principled understanding. To address this, we introduce ACER (Automated Curriculum-Enhanced Regimen) that transforms generalist models into domain experts without sacrificing their broad capabilities. ACER first synthesizes a comprehensive, textbook-style curriculum by generating a table of contents for a subject and then creating question-answer (QA) pairs guided by Bloom's taxonomy. This ensures systematic topic coverage and progressively increasing difficulty. The resulting synthetic corpus is used for continual pretraining with an interleaved curriculum schedule, aligning learning across both content and cognitive dimensions. Experiments with Llama 3.2 (1B and 3B) show significant gains in specialized MMLU subsets. In challenging domains like microeconomics, where baselines struggle, ACER boosts accuracy by 5 percentage points. Across all target domains, we observe a consistent macro-average improvement of 3 percentage points. Notably, ACER not only prevents catastrophic forgetting but also facilitates positive cross-domain knowledge transfer, improving performance on non-target domains by 0.7 points. Beyond MMLU, ACER enhances performance on knowledge-intensive benchmarks like ARC and GPQA by over 2 absolute points, while maintaining stable performance on general reasoning tasks. Our results demonstrate that ACER offers a scalable and effective recipe for closing critical domain gaps in LLMs.
• Abstract（参考訳）: LLM(Large Language Models)は、一般的なタスクでは優れるが、経済学や心理学のような、深い原理的な理解を必要とする専門分野では不十分である。 これを解決するために,汎用モデルからドメインエキスパートへの変換を行うACER(Automated Curriculum-Enhanced Regimen)を導入する。 ACERはまず、主題のコンテンツテーブルを生成して、ブルームの分類で導かれる質問応答(QA)ペアを作成することで、総合的な教科書スタイルのカリキュラムを合成する。 これにより、システマティックなトピックのカバレッジが保証され、徐々に困難が増す。 得られた合成コーパスは、インターリーブされたカリキュラムスケジュールによる継続的な事前学習に使用され、内容と認知次元の両方で学習を整合させる。 Llama 3.2 (1Bと3B) の実験では、特殊なMMLUサブセットが大幅に向上した。 ベースラインが苦戦しているミクロ経済学のような挑戦的な領域では、ACERは精度を5パーセント向上させる。 すべての対象領域において,平均3ポイントのマクロ平均値改善が一貫した結果が得られた。 特に、ACERは破滅的な忘れ込みを防ぐだけでなく、ドメイン間の知識伝達を積極的にし、非ターゲットドメインの性能を0.7ポイント向上させる。 MMLU以外にも、ACERはARCやGPQAのような知識集約型ベンチマークの性能を2以上の絶対点で向上させ、一般的な推論タスクでは安定した性能を維持している。 以上の結果から、ACERはLLMにおいて重要な領域ギャップを埋めるスケーラブルで効果的なレシピを提供することを示した。

関連論文リスト

• Benchmarking for Domain-Specific LLMs: A Case Study on Academia and Beyond [35.39855750197463]
  Comp-Compは、包括性とコンパクト性の原則に基づく反復的なベンチマークフレームワークである。 本稿では,有名大学におけるケーススタディとして,PolyBenchの創出について紹介する。
  論文  参考訳（メタデータ） (2025-08-10T14:08:28Z)
• General-Reasoner: Advancing LLM Reasoning Across All Domains [64.70599911897595]
  強化学習(RL)は近年,大規模言語モデル(LLM)の推論能力の向上に強い可能性を示している。 本稿では,多分野にわたるLSM推論能力の向上を目的とした,新たなトレーニングパラダイムであるGeneral-Reasonerを提案する。 私たちは一連のモデルをトレーニングし、物理学、化学、金融、電子工学など幅広い分野をカバーする幅広いデータセットでそれらを評価します。
  論文  参考訳（メタデータ） (2025-05-20T17:41:33Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Cross-Domain Sentiment Classification with Contrastive Learning and Mutual Information Maximization [48.41392004071199]
  CLIM: Contrastive Learning with mutual Information Maximization, to explore the potential of CL on cross-domain sentiment classification。 対象ドメインにラベルが不足しているため、最終予測を最も支援する特徴を活用するために、CLとは別に相互情報(MIM)を導入する。 提案手法であるCLIMの有効性を示すため,Amazon-Reviewデータセットと航空会社データセットを用いて,新たな最先端結果を実現する。
  論文  参考訳（メタデータ） (2020-10-30T06:12:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。