論文の概要: Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090

• arxiv url: http://arxiv.org/abs/2608.27370v2
• Date: Thu, 03 Sep 2026 16:53:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 16:10:20.231381
• Title: Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090
• Title（参考訳）: Puro-2B:Qwen2-1.5B RTX 5090で5090ドル以下で練習中
• Abstract要約: 言語モデルの事前訓練は、ほとんど禁止コストと同義語になっている。 小規模でも、Llama-3.2-3Bの訓練には1.5M以上の費用がかかり、SmolLM3-3Bの再現には700K以上の費用がかかる。 この障壁を低くするために、オープンな事前学習のレシピを提示する。
• 参考スコア（独自算出の注目度）: 38.833308602046976
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Language model pretraining has become almost synonymous with prohibitive cost, placing it out of reach for much of the academic and open-source communities. Although strong open-source efforts already exist, including open-weight models and open-source training recipes, a cost-efficient, hardware-accessible, and open-source pretraining recipe has long been missing. Even at a small scale, training Llama-3.2-3B costs over \$1.5M, and reproducing SmolLM3-3B needs over \$700K. In this report, we present an open pretraining recipe designed to lower this barrier. Using this recipe, we train a collection of Puro-2B models from scratch on up to 1.4 trillion tokens with FP8 precision on consumer-grade RTX 5090 GPUs. The models in the collection differ in token budgets and selected recipe variants. Our best model is trained at a compute cost of less than \$6.9K and approaches Qwen2.5-1.5B performance under our evaluation protocol. This cost efficiency is enabled by a combination of approaches, including hardware selection, low-precision training, hyperball optimization, curriculum model averaging, and the data recipe. Beyond the recipe itself, we provide two additional results. First, across the Puro-2B collection, we derive a Puro Cost Scaling Law that relates training cost to average model performance; the fitted law suggests that about \$4.4K, less than \$5,090, is sufficient to reach the performance of Qwen2-1.5B. Second, as an end-to-end case study, we examine how pretraining data curricula shape downstream performance after post-training. Such controlled studies are enabled by having access to the full pretraining pipeline rather than model weights alone. We release the full training recipe for Puro-2B, including data, code, and model weights under Apache 2.0 at https://huggingface.co/collections/thu-pacman/puro-2b.
• Abstract（参考訳）: 言語モデルの事前訓練は禁止費用とほぼ同義語となり、学術的およびオープンソースコミュニティの多くにとって手の届かないものとなっている。 オープンソースのモデルやオープンソーストレーニングのレシピなど、オープンソースへの強い取り組みはすでに存在していますが、コスト効率、ハードウェアアクセシブル、オープンソースの事前トレーニングのレシピが欠落しています。 小規模でも、Llama-3.2-3Bの訓練には1.5M以上の費用がかかり、SmolLM3-3Bの再現には700K以上の費用が必要であった。 本稿では,この障壁を低くするために,オープンな事前学習レシピを提案する。 このレシピを用いて、コンシューマグレードのRTX 5090 GPU上で、FP8精度で、最大1.4兆トークン上で、スクラッチからPuro-2Bモデルのコレクションをトレーニングする。 コレクションのモデルはトークンの予算と選択されたレシピのバリエーションが異なる。 我々の最良のモデルは6.9K以下の計算コストで訓練され、評価プロトコルの下でQwen2.5-1.5Bの性能にアプローチする。 このコスト効率は、ハードウェア選択、低精度トレーニング、ハイパーボール最適化、カリキュラムモデルの平均化、データレシピといったアプローチの組み合わせによって実現されている。 レシピ自体以外にも,2つの追加結果を提供しています。 まず,Puro-2Bコレクションを通じて,トレーニングコストと平均モデル性能を関連付けるPuroコストスケーリング法を導出する。 第2に、エンド・ツー・エンドのケーススタディとして、事前学習したデータキュリキュラがポスト・トレーニング後の下流のパフォーマンスをどのように形成するかを検討する。 このような制御された研究は、モデルウェイトのみではなく、完全な事前訓練パイプラインへのアクセスを可能にする。 我々はApache 2.0でデータ、コード、モデルウェイトを含むPuro-2Bの完全なトレーニングレシピをhttps://huggingface.co/collections/thu-pacman/puro-2bでリリースしています。

関連論文リスト

• Training a Foundation Model for Materials on a Budget [1.8444800925976708]
  Nequix はコンパクトな E(3) 等価ポテンシャルで、単純化された NequIP と現代の訓練実践を組み合わせている。 Nequixは700Kパラメータを持ち、100 A100 GPU時間でトレーニングされた。
  論文  参考訳（メタデータ） (2025-08-22T03:38:06Z)
• Exploiting Block Coordinate Descent for Cost-Effective LLM Model Training [10.794896407061076]
  ブロック降下座標(BCD)に基づく事前学習・微調整フレームワークを提案する。 同じハードウェア構成で、7BモデルのトレーニングコストをA100/800Aクラスタ上で33%に削減する。
  論文  参考訳（メタデータ） (2025-05-23T03:05:54Z)
• 2 OLMo 2 Furious [154.15728448754854]
  我々は、私たちの完全にオープンな言語の次世代モデルであるOLMo 2を紹介します。 OLMo 2は、7B、13B、32Bスケールの高密度な自己回帰言語モデルを含む。 修正されたモデルアーキテクチャとトレーニングレシピについて説明する。
  論文  参考訳（メタデータ） (2024-12-31T21:55:10Z)
• Llama 3 Meets MoE: Efficient Upcycling [1.8337958765930928]
  本研究では,Llama 3-8B から 8-Expert Top-2 MoE モデルをトレーニングし,事前学習の典型的な計算値の 1% 以下で,事前学習した高密度チェックポイントを活用する効率的なトレーニングレシピを提案する。 提案手法は,学術ベンチマークのダウンストリーム性能を向上し,MMLUの0ショット精度を$textbf2%で向上させる。 トレーニング済み重量をシームレスに使用するために、NeMoのオンラインアップサイクルも統合し、高容量のMoEモデルの開発に費用対効果が期待できる。
  論文  参考訳（メタデータ） (2024-12-13T08:22:19Z)
• 1.5-Pints Technical Report: Pretraining in Days, Not Months -- Your Language Model Thrives on Quality Data [0.0]
  本稿では,9日間で言語モデル"1.5-Pints"を事前学習するための計算効率のよい手法を提案する。 MT-Bench(人間の判断をエミュレートするベンチマーク)に基づいて、1.5-PintsはAppleのOpenELMとMicrosoftのPhiを上回っている。 これは、自動化された人間によるレビューと手動によるレビューを組み合わせて、57億トークンのトレーニング済みデータセットを慎重にキュレートすることで達成される。
  論文  参考訳（メタデータ） (2024-08-07T02:14:52Z)
• Beyond Next Token Prediction: Patch-Level Training for Large Language Models [69.67438563485887]
  大規模言語モデル(LLM)に対するパッチレベルのトレーニングを導入する。 パッチレベルのトレーニングでは、言語モデルの短いパッチシーケンスをフィードし、次のパッチを予測するようにトレーニングします。 パッチレベルのトレーニングは、モデルのパフォーマンスを損なうことなく、全体のトレーニングコストを0.5$times$に削減できることを示す。
  論文  参考訳（メタデータ） (2024-07-17T15:48:39Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Training Compute-Optimal Large Language Models [54.00424650998489]
  私たちは、500億から500億のトークンに対して、7000万から160億以上のパラメータの言語モデルをトレーニングしています。 計算最適トレーニングでは、モデルのサイズとトレーニングトークンの数が等しくスケールする必要がある。 チンチラはGopher(280B)、GPT-3(175B)、Jurassic-1(178B)、Megatron-Turing NLG(530B)を均一かつ著しく上回る
  論文  参考訳（メタデータ） (2022-03-29T13:38:03Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。