Fugu-MT 論文翻訳(概要): Large-Scale Diverse Synthesis for Mid-Training

論文の概要: Large-Scale Diverse Synthesis for Mid-Training

arxiv url: http://arxiv.org/abs/2508.01326v1
Date: Sat, 02 Aug 2025 11:37:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-05 18:25:21.824117
Title: Large-Scale Diverse Synthesis for Mid-Training
Title（参考訳）: ミドルトレーニングのための大規模広帯域合成
Authors: Xuemiao Zhang, Chengying Tu, Can Ren, Rongxiang Weng, Hongfei Yan, Jingang Wang, Xunliang Cai,
Abstract要約: BoostQAは100Bの大規模質問回答データセットである。本稿では,BoostQAを合成するための新しい多様化パイプラインを提案する。提案手法は,Llama-3 8Bを40Bトーケンデータセットで中級訓練し,MMLUとCMMLUで平均$mathbf12.74%の改善を実現する。
参考スコア（独自算出の注目度）: 15.81154701009597
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The scarcity of high-quality, knowledge-intensive training data hinders the development of large language models (LLMs), as traditional corpora provide limited information. Previous studies have synthesized and integrated corpora-dependent question-answering (QA) data to improve model performance but face challenges in QA data scalability and knowledge diversity, particularly in cross-domain contexts. Furthermore, leveraging our designed discipline and difficulty annotation system, we probe model deficiencies in STEM disciplines and high-difficulty data. To overcome these limitations, we propose a novel diversified pipeline to synthesize BoostQA, a 100B-token large-scale QA dataset. Our synthesis framework: (1) curates seed data from heterogeneous sources; (2) utilizes DeepSeek-R1 to implement STEM-focused multi-grade synthesis to boost data diversity and high-difficulty synthesis to mitigate difficulty degradation; (3) refines answers via DeepSeek-V3 to improve output quality. We utilize BoostQA in mid-training, a mid-stage between pre-training and post-training, to optimize domain-specific knowledge acquisition and enhance data quality. Our method enables Llama-3 8B, mid-trained on a 40B-token dataset, to achieve an average improvement of $\mathbf{12.74\%}$ on MMLU and CMMLU and establish SOTA average performance across 12 benchmarks. BoostQA also demonstrates robust scalability, with performance consistently improving as model size, data volume, and initial FLOPs scale.
Abstract（参考訳）: 高品質で知識集約的なトレーニングデータの不足は、従来のコーパスが限られた情報を提供するため、大きな言語モデル(LLM)の開発を妨げる。従来の研究は、モデル性能を改善するためにコーパス依存質問応答(QA)データを合成し、統合してきたが、QAデータのスケーラビリティと知識の多様性、特にクロスドメインコンテキストにおいて課題に直面している。さらに、設計した規律と難易度アノテーションシステムを活用し、STEMの規律と高次データにおけるモデル欠陥を探索する。これらの制限を克服するために,100Bの大規模QAデータセットであるBoostQAを合成する,新たな多様化パイプラインを提案する。筆者らの合成フレームワークは,(1)異種源からのシードデータをキュレートし,(2)STEMに着目した多品位合成を実装し,データの多様性と高度合成を向上し,難易度を低減し,(3)DeepSeek-V3を介して回答を洗練し,出力品質を向上する。本稿では,事前学習と後学習の中間段階であるBoostQAを利用して,ドメイン固有の知識獲得を最適化し,データ品質を向上させる。提案手法は,Llama-3 8Bを40B-tokenデータセットで中間訓練し,MMLUおよびCMMLU上での$\mathbf{12.74\%}の平均改善を実現し,12ベンチマークでSOTA平均性能を確立する。 BoostQAはまた、モデルサイズ、データボリューム、初期FLOPスケールとして、パフォーマンスを継続的に改善する、堅牢なスケーラビリティも示しています。

関連論文リスト

Teaching Large Language Models to Maintain Contextual Faithfulness via Synthetic Tasks and Reinforcement Learning [80.27561080938747]
本研究では,人間のアノテーションを使わずに,大規模言語モデル(LLM)の短文および長文生成タスクにおける忠実度を改善するための体系的フレームワークであるCANOEを提案する。また,ルールに基づく強化学習手法であるDual-GRPOを提案する。実験結果から,CANOEは11の下流タスクにまたがるLLMの忠実度を大幅に向上し,最も先進的なLLMよりも優れていた。
論文参考訳（メタデータ） (2025-05-22T10:10:07Z)
Scaling Laws of Synthetic Data for Language Models [132.67350443447611]
プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
論文参考訳（メタデータ） (2025-03-25T11:07:12Z)
Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
論文参考訳（メタデータ） (2025-03-16T00:25:13Z)
Unleashing LLM Reasoning Capability via Scalable Question Synthesis from Scratch [54.12139707822201]
本稿では,新しい,スケーラブルで費用対効果の高いデータ合成手法であるScaleQuestを提案する。スクラッチから多様な質問を生成することで、100万の問題解決ペアのデータセットを生成します。私たちの実験では、データに基づいてトレーニングされたモデルが、既存のオープンソースデータセットより優れています。
論文参考訳（メタデータ） (2024-10-24T12:42:04Z)
Data Quality Control in Federated Instruction-tuning of Large Language Models [43.29678396558287]
フェデレートラーニング(Federated Learning)は、大きな言語モデルのプライバシ保護と協調的な命令チューニングを可能にする。ローカルクライアントには、トレーニング前にノイズや低品質のサンプルをフィルタリングするグローバルな可視性がない。我々は,動的データ品質制御を備えた新しいフェデレーション・インストラクション・チューニング・フレームワークであるFedDQCを提案する。
論文参考訳（メタデータ） (2024-10-15T12:14:57Z)
Multi-OCT-SelfNet: Integrating Self-Supervised Learning with Multi-Source Data Fusion for Enhanced Multi-Class Retinal Disease Classification [2.5091334993691206]
網膜疾患診断のための堅牢なディープラーニングモデルの開発には、トレーニングのためのかなりのデータセットが必要である。より小さなデータセットで効果的に一般化する能力は、依然として永続的な課題である。さまざまなデータソースを組み合わせて、パフォーマンスを改善し、新しいデータに一般化しています。
論文参考訳（メタデータ） (2024-09-17T17:22:35Z)
Semi-Supervised Reward Modeling via Iterative Self-Training [52.48668920483908]
本稿では,未ラベルデータを用いたRMトレーニングを強化する手法であるSemi-Supervised Reward Modeling (SSRM)を提案する。 SSRMは、追加のラベリングコストを発生させることなく、報酬モデルを大幅に改善することを示した。全体として、SSRMは、人間が注釈付けした大量のデータへの依存を大幅に減らし、効果的な報酬モデルのトレーニングに要する全体的なコストと時間を削減する。
論文参考訳（メタデータ） (2024-09-10T22:57:58Z)
Towards Effective and Efficient Continual Pre-training of Large Language Models [163.34610964970258]
CPT(Continuous pre-training)は、特定のドメインやタスクに言語モデルを適用する上で重要なアプローチである。本稿では,Llama-3 (8B) の継続事前訓練に関する技術的報告を報告する。バックボーンモデルの中国語能力と科学的推論能力を大幅に向上させる。
論文参考訳（メタデータ） (2024-07-26T13:55:21Z)
Improved Techniques for the Conditional Generative Augmentation of Clinical Audio Data [36.45569352490318]
本稿では,学習したデータ分布からメルスペクトルを合成できる条件付き逆方向ニューラルネットワークによる拡張法を提案する。提案手法は,従来の音質向上手法よりも優れていることを示す。提案モデルは,臨床オーディオデータの増大における最先端の進歩と,臨床音響センシングシステムの設計におけるデータのボトルネックを改善する。
論文参考訳（メタデータ） (2022-11-05T10:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。