論文の概要: SmolLM2: When Smol Goes Big -- Data-Centric Training of a Small Language Model

• arxiv url: http://arxiv.org/abs/2502.02737v1
• Date: Tue, 04 Feb 2025 21:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:27:46.017316
• Title: SmolLM2: When Smol Goes Big -- Data-Centric Training of a Small Language Model
• Title（参考訳）: SmolLM2: Smolの大規模化 -- 小規模言語モデルのデータ中心トレーニング
• Authors: Loubna Ben Allal, Anton Lozhkov, Elie Bakouch, Gabriel Martín Blázquez, Guilherme Penedo, Lewis Tunstall, Andrés Marafioti, Hynek Kydlíček, Agustín Piqueres Lajarín, Vaibhav Srivastav, Joshua Lochner, Caleb Fahlgren, Xuan-Son Nguyen, Clémentine Fourrier, Ben Burtenshaw, Hugo Larcher, Haojun Zhao, Cyril Zakka, Mathieu Morlon, Colin Raffel, Leandro von Werra, Thomas Wolf,
• Abstract要約: SmolLM2は、最先端の"小" (170億のパラメータ) 言語モデルである。 我々はSmolLM2を1兆のトークンでオーバートレーニングし、Webテキストと特殊な算数、コード、命令追従データとを混合する多段階のトレーニングプロセスを用いた。 我々は、SmolLM2がQwen2.5-1.5BやLlama3.2-1Bなど、最近の小さなLMよりも優れていることを示した。
• 参考スコア（独自算出の注目度）: 33.921453673435074
• License:
• Abstract: While large language models have facilitated breakthroughs in many applications of artificial intelligence, their inherent largeness makes them computationally expensive and challenging to deploy in resource-constrained settings. In this paper, we document the development of SmolLM2, a state-of-the-art "small" (1.7 billion parameter) language model (LM). To attain strong performance, we overtrain SmolLM2 on ~11 trillion tokens of data using a multi-stage training process that mixes web text with specialized math, code, and instruction-following data. We additionally introduce new specialized datasets (FineMath, Stack-Edu, and SmolTalk) at stages where we found existing datasets to be problematically small or low-quality. To inform our design decisions, we perform both small-scale ablations as well as a manual refinement process that updates the dataset mixing rates at each stage based on the performance at the previous stage. Ultimately, we demonstrate that SmolLM2 outperforms other recent small LMs including Qwen2.5-1.5B and Llama3.2-1B. To facilitate future research on LM development as well as applications of small LMs, we release both SmolLM2 as well as all of the datasets we prepared in the course of this project.
• Abstract（参考訳）: 大規模言語モデルは、人工知能の多くの応用においてブレークスルーを促進する一方で、その固有の大規模性は、計算コストが高く、リソースに制約のある環境でのデプロイを困難にしている。 本稿では,現在最先端の"小"言語モデル(LM)であるSmolLM2の開発について述べる。 高いパフォーマンスを達成するために、Webテキストと特殊な数学、コード、命令追従データを組み合わせたマルチステージトレーニングプロセスを用いて、約11兆個のデータトークン上でSmolLM2をオーバートレーニングする。 さらに、既存のデータセットが問題的に小さく、あるいは低品質であることが判明した時点で、新たな特別なデータセット(FineMath、Stack-Edu、SmolTalk)も導入しました。 設計上の決定を下すため、我々は、前段階での性能に基づいて、各ステージにおけるデータセットの混合率を更新する、小規模の改善と手作業による改善プロセスの両方を実行します。 最終的に、SmolLM2はQwen2.5-1.5BやLlama3.2-1Bなど、最近の小さなLMよりも優れていることを示した。 LM開発と小型LMの応用の今後の研究を促進するため,我々はSmolLM2と,このプロジェクトの過程で準備したすべてのデータセットをリリースする。

関連論文リスト

• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• MiniPLM: Knowledge Distillation for Pre-Training Language Models [109.83741809808483]
  MiniPLMは、学生言語モデルを事前学習するためのKDフレームワークである。 効率性のために、MiniPLMはオフラインの教師LM推論を実行し、複数の学生LMに対するKDを訓練時間のコストを伴わずに行えるようにした。 柔軟性のために、MiniPLMはトレーニングコーパスのみで動作し、モデルファミリ間のKDを可能にする。
  論文  参考訳（メタデータ） (2024-10-22T17:40:32Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Improving Language Models Trained on Translated Data with Continual Pre-Training and Dictionary Learning Analysis [3.16714407449467]
  学習言語モデルにおける翻訳と合成データの役割について検討する。 NLLB-3B MTモデルを用いて英語からアラビア語に翻訳した。 これらの問題を是正するために、我々は、合成された高品質のアラビア物語の小さなデータセットでモデルを事前訓練する。
  論文  参考訳（メタデータ） (2024-05-23T07:53:04Z)
• MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies [85.57899012821211]
  SLM(Small Language Models)は、LLM(Large Language Models)に代わるリソース効率の高いモデルである。 我々はMiniCPM、特に1.2Bと2.4Bの非埋め込みパラメータの変種を紹介する。 また、MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128Kを含むMiniCPMファミリーについても紹介する。
  論文  参考訳（メタデータ） (2024-04-09T15:36:50Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• Ziya2: Data-centric Learning is All LLMs Need [41.44909548662012]
  基礎モデルとしてLLaMA2を採用した13億のパラメータを持つモデルであるZiya2を提案する。 実験の結果、Ziya2は他のモデルを特にオープンソースと比較して有望な結果で、複数のベンチマークで大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-11-06T17:49:34Z)
• Improving Small Language Models on PubMedQA via Generative Data Augmentation [4.96649519549027]
  大規模言語モデル (LLM) は自然言語処理の分野で顕著な進歩を遂げている。 小型言語モデル(SLM)はその効率で知られているが、限られた能力と訓練データに悩まされることが多い。 医療領域におけるSLMの改善を目的とした,LLMに基づく生成データ拡張を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-12T23:49:23Z)
• Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes [91.58845026796149]
  大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。 4つのNLPベンチマークで3つの結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T17:50:56Z)
• Generation-Distillation for Efficient Natural Language Understanding in Low-Data Settings [5.929956715430167]
  大規模言語モデル(LM)を用いた伝達学習は、幅広い自然言語理解タスクにおいて劇的な性能向上をもたらした。 これらの大きなLMのサイズとメモリフットプリントは、多くのシナリオでのデプロイを困難にしている。 最近の研究では、知識蒸留が潜在的な解決策として指摘されており、与えられたタスクのトレーニングデータが豊富であれば、大きな(教師)LMを最小限の性能を失う小さなタスク固有(学生)ネットワークに蒸留することが可能である。
  論文  参考訳（メタデータ） (2020-01-25T08:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。