論文の概要: QVAC Genesis III: A Large-Scale, High-Quality Open Synthetic STEM Corpus for Efficient Language Model Pre-Training

• arxiv url: http://arxiv.org/abs/2609.19513v2
• Date: Wed, 23 Sep 2026 06:16:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.63909
• Title: QVAC Genesis III: A Large-Scale, High-Quality Open Synthetic STEM Corpus for Efficient Language Model Pre-Training
• Title（参考訳）: QVAC Genesis III: 効率的な言語モデル事前学習のための大規模かつ高品質なオープン合成STEMコーパス
• Abstract要約: 19ドメインをカバーする191.43BのSTEM型多ドメイン合成コーパスであるQVAC Genesis IIIを紹介する。 QVAC Genesis IIIは、弱エッジスケールの学生モデルを用いて教師の蒸留を目標とする二重世代戦略によって構築されている。 QVAC Genesis IIIでトレーニングしたモデルは、オープンソース合成コーパスCosmopedia-v2と、一般公開されたCosmo-1Bモデルでトレーニングしたモデルよりも一貫して優れていた。
• 参考スコア（独自算出の注目度）: 0.41942958779358674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-quality pre-training data is a critical bottleneck for educational and STEM-specific language models targeting edge AI and on-device deployment where token budgets are tightly constrained. While major organizations train ever-larger models on private corpora, the open ecosystem lacks STEM-focused synthetic datasets that deliver high per-token learning value efficiently for small models. To address this gap, we introduce QVAC Genesis III, a 191.43B-token, STEM-focused multi-domain synthetic corpus covering 19 domains across several difficulty levels and different educational styles. QVAC Genesis III is built via a dual generation strategy that performs targeted teacher distillation using a weak edge-scale student model as signal: the student's failures are converted into corrective explanations, while its successes are expanded into contrastive option-level reasoning over all answer choices. We further introduce an LLM-as-a-parser evaluation protocol that extracts final answers from free-form outputs and tracks both accuracy and answer validity. To validate the effectiveness of our QVAC Genesis III data, we conduct controlled from-scratch ablations with 1.7B-parameter models, showing that models trained with QVAC Genesis III consistently outperform both models trained with the open-source synthetic corpus Cosmopedia-v2 and the publicly released Cosmo-1B model across ARC, GPQA Diamond, and MMLU STEM benchmarks, achieving up to +28.57% on ARC-E and +21.35% on ARC-C, while reaching a Valid Answer Rate of up to 99.45%.
• Abstract（参考訳）: 高品質な事前トレーニングデータは、エッジAIをターゲットにした教育用およびSTEM固有の言語モデルと、トークン予算が厳しく制約されたデバイス上でのデプロイメントにとって、重要なボトルネックである。 大企業はプライベートコーパス上で常設モデルをトレーニングするが、オープンエコシステムにはSTEMにフォーカスした合成データセットが欠けているため、小規模モデルでは高い学習価値を効率よく提供できる。 このギャップに対処するために、191.43BのSTEM型多ドメイン合成コーパスであるQVAC Genesis IIIを導入する。 QVAC Genesis IIIは、弱いエッジスケールの学生モデルを用いて、標的とする教師の蒸留を信号として行う二重世代戦略によって構築されている。 さらに,LLM-as-a-parser評価プロトコルを導入する。 QVAC Genesis IIIデータの有効性を検証するため、QVAC Genesis IIIでトレーニングされたモデルと、ARC、GPQA Diamond、MMLU STEMベンチマークでトレーニングされたCosmo-1Bモデルの両方を一貫して上回り、ARC-Eで+28.57%、ARC-Cで+21.35%、 Valid Answer Rateで99.45%に達した。

関連論文リスト

• Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model [100.86587937568832]
  Ring-1Tは、数兆のパラメータを持つ最初のオープンソースの最先端の思考モデルである。 総パラメータは1兆で、1トークンあたり約500億を活性化する。
  論文  参考訳（メタデータ） (2025-10-21T17:46:14Z)
• Socratic-Zero : Bootstrapping Reasoning via Data-Free Agent Co-evolution [11.474213670364572]
  Socratic-Zeroは、最小限のシード例から高品質なトレーニングデータを生成する、完全に自律的なフレームワークである。 このシステムは、既存のタスクやラベルを必要とせずに、自己改善カリキュラムを生成する。 Socratic-r-8Bは、以前のデータ合成法よりも平均的に+20.2ポイント向上する。
  論文  参考訳（メタデータ） (2025-09-29T12:54:07Z)
• Large-Scale Diverse Synthesis for Mid-Training [15.81154701009597]
  BoostQAは100Bの大規模質問回答データセットである。 本稿では,BoostQAを合成するための新しい多様化パイプラインを提案する。 提案手法は,Llama-3 8Bを40Bトーケンデータセットで中級訓練し,MMLUとCMMLUで平均$mathbf12.74%の改善を実現する。
  論文  参考訳（メタデータ） (2025-08-02T11:37:16Z)
• CLGRPO: Reasoning Ability Enhancement for Small VLMs [4.551310348498266]
  SVLM(Small Vision Language Models)は、一般にパラメータサイズが2B未満のモデルを指す。 本稿では,SVLMの推論能力を高めるために,インクリメンタルトレーニング戦略(Incrmental Training Strategy)と呼ばれるポストトレーニング後の最適化パラダイムを提案する。 実験により,本手法は1B SVLMの推論能力を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-06-22T14:32:15Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
  我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• CodingTeachLLM: Empowering LLM's Coding Ability via AST Prior Knowledge [0.0]
  我々は,コーディング学習用に設計された大規模言語モデル(LLM)であるCodingTeachLLMを紹介する。 本モデルは,学習知識の構造的分解と漸進的指導によるアウトプットを実現する。 当社のモデルは,オープンソースモデルと比較して,コード能力の最先端性も達成している。
  論文  参考訳（メタデータ） (2024-03-13T05:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。