論文の概要: ZAYA1-8B Technical Report

• arxiv url: http://arxiv.org/abs/2605.05365v1
• Date: Wed, 06 May 2026 18:44:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.376261
• Title: ZAYA1-8B Technical Report
• Title（参考訳）: ZAYA1-8B技術報告
• Abstract要約: 700Mのアクティブパラメータと8Bの合計パラメータを混合したMoEモデルであるZAYA1-8Bを提案する。 ZAYA1-8BはDeepSeek-R1-0528といくつかの挑戦的な数学とコーディングのベンチマークで一致または超える。 ポストトレーニングでは、数学とパズルのウォームアップを推論する4段階のRLカスケード、400タスクのRLVE-Gymカリキュラム、テストタイムの計算トレースと合成コード環境を備えた数学とコードRLを使用する。
• 参考スコア（独自算出の注目度）: 14.894881882111605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present ZAYA1-8B, a reasoning-focused mixture-of-experts (MoE) model with 700M active and 8B total parameters, built on Zyphra's MoE++ architecture. ZAYA1-8B's core pretraining, midtraining, and supervised fine-tuning (SFT) were performed on a full-stack AMD compute, networking, and software platform. With under 1B active parameters, ZAYA1-8B matches or exceeds DeepSeek-R1-0528 on several challenging mathematics and coding benchmarks, and remains competitive with substantially larger open-weight reasoning models. ZAYA1-8B was trained from scratch for reasoning, with reasoning data included from pretraining onward using an answer-preserving trimming scheme. Post-training uses a four-stage RL cascade: reasoning warmup on math and puzzles; a 400-task RLVE-Gym curriculum; math and code RL with test-time compute traces and synthetic code environments built from competitive-programming references; and behavioral RL for chat and instruction following. We also introduce Markovian RSA, a test-time compute method that recursively aggregates parallel reasoning traces while carrying forward only bounded-length reasoning tails between rounds. In TTC evaluation, Markovian RSA raises ZAYA1-8B to 91.9\% on AIME'25 and 89.6\% on HMMT'25 while carrying forward only a 4K-token tail, narrowing the gap to much larger reasoning models including Gemini-2.5 Pro, DeepSeek-V3.2, and GPT-5-High.
• Abstract（参考訳）: ZAYA1-8Bは、ZyphraのMoE++アーキテクチャ上に構築された700Mのアクティブパラメータと8Bの合計パラメータを持つ、推論にフォーカスしたMix-of-experts(MoE)モデルである。 ZAYA1-8Bのコアプリトレーニング、ミッドトレーニング、教師付き微調整(SFT)はフルスタックのAMD計算、ネットワーク、ソフトウェアプラットフォーム上で実行された。 1B未満のアクティブパラメータを持つZAYA1-8Bは、いくつかの挑戦的な数学およびコーディングベンチマークでDeepSeek-R1-0528と一致し、より大規模なオープンウェイト推論モデルと競合し続けている。 ZAYA1-8Bは、解答保存トリミングスキームを用いて、事前訓練による推論データを含む、推論のためのスクラッチから訓練された。 ポストトレーニングでは、数学とパズルのウォームアップを推論する4段階のRLカスケード、400タスクのRLVE-Gymカリキュラム、テストタイムの計算トレースと競合プログラミングの参照から構築された合成コード環境を備えた数学とコードRL、チャットと指示のための行動RLを使用する。 また、並列推論トレースを再帰的に集約するテスト時間計算手法であるMarkovian RSAを導入し、ラウンド間の有界長推論テールのみを転送する。 TTC評価では、Markovian RSA は AIME'25 で ZAYA1-8B を91.9 %、HMMT'25 で 89.6 % に上昇し、4K トーケンの尾のみを持ち、Gemini-2.5 Pro 、DeepSeek-V3.2 、GPT-5-High といったより大きな推論モデルにギャップを狭める。

関連論文リスト

• Mellum2 Technical Report [1.1239988514721222]
  Mellum 2は、ソフトウェア工学に特化した汎用言語モデルである。 完成中心の4B高密度メルロンモデルの後継である。 Mellum 2 は 4B-14B の範囲でオープンウェイトベースラインと競合し、2.5B の高密度モデルのトーケン毎の計算で実行される。
  論文  参考訳（メタデータ） (2026-05-29T13:01:11Z)
• Scaling Reasoning Tokens via RL and Parallel Thinking: Evidence From Competitive Programming [10.478834409140623]
  競合プログラミングのための推論トークンの予算を2つの相補的なアプローチでスケールする方法を研究する。 マルチラウンド並列思考パイプラインを導入し、トークンの予算を生成、検証、改善のスレッドとラウンドに分散する。 このパイプラインでモデルをエンドツーエンドにトレーニングし、トレーニング目標とテスト時間構造を一致させます。
  論文  参考訳（メタデータ） (2026-04-01T18:05:49Z)
• PRISM: Demystifying Retention and Interaction in Mid-Training [20.198164159173647]
  PRISMは、大規模言語モデルにおける中級学習設計の選択に関する総合的な実証的研究である。 約27Bの高品位トークンの中間トレーニングでは, 数学では+15から+40点, コードでは+5から+12点, 科学ベンチマークでは+6から+13点, 一般性能は+6から+13点となる。
  論文  参考訳（メタデータ） (2026-03-17T19:04:33Z)
• PaCoRe: Learning to Scale Test-Time Compute with Parallel Coordinated Reasoning [62.55836470496192]
  PaCoReは、現代の言語モデルの中心的な制限を克服するために設計されたトレーニングと推論のフレームワークである。 PaCoReは、複数のラウンドでメッセージパッシングアーキテクチャを介して調整された巨大な並列探索を通じてTTCを駆動することで、従来のシーケンシャルパラダイムから逸脱する。 大規模で結果に基づく強化学習を備えたエンドツーエンドで訓練されたモデルでは、PaCoReに必要な合成能力を習得し、コンテキスト制限を超えることなく、数百万の効果的なTTCにスケールする。
  論文  参考訳（メタデータ） (2026-01-09T07:24:43Z)
• Prompting Test-Time Scaling Is A Strong LLM Reasoning Data Augmentation [43.29267000439331]
  大型言語モデル (LLMs) は、チェーン・オブ・シンクタンク(英語版)を備えた場合、印象的な推論能力を示す。 本研究では,P-TTS(Prompting Test-Time Scaling)を提案する。
  論文  参考訳（メタデータ） (2025-10-10T17:57:04Z)
• MobileLLM-R1: Exploring the Limits of Sub-Billion Language Model Reasoners with Open Training Recipes [60.57770396565211]
  強い推論能力は、はるかに少ないデータで実現可能であることを示す。 MobileLLM-R50MのAIMEスコアは15.5であり、OLMo-2-1.48Bは0.6、SmolLM-2-1.7Bは0.3である。
  論文  参考訳（メタデータ） (2025-09-29T15:43:59Z)
• Parallel-R1: Towards Parallel Thinking via Reinforcement Learning [65.68667585027232]
  並列思考は、大規模言語モデルの推論能力を高めるための新しいアプローチである。 並列思考行動を可能にする最初の強化学習フレームワークである textbfParallel-R1 を提案する。 本フレームワークでは,並列思考のトレーニングにおいて,コールドスタート問題に明示的に対処する漸進的なカリキュラムを採用している。
  論文  参考訳（メタデータ） (2025-09-09T17:59:35Z)
• LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters! [53.84130385074551]
  大推論モデル(LRM)は、長いチェーン・オブ・シント(Long CoT)に従うことによって複雑な推論問題に取り組む また,Large Language Model (LLM) は,データ効率の教師付き微調整 (SFT) とパラメータ効率の低い低ランク適応 (LoRA) により,Long CoT推論を効果的に学習できることを見出した。 たった17kのCoTトレーニングサンプルで、Qwen2.5-32B-Instructモデルは、幅広い数学およびコーディングベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2025-02-11T08:48:48Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)
• Preference Optimization for Reasoning with Pseudo Feedback [100.62603571434167]
  提案手法では,解のラベル付けを関連するテストケースに対する評価として行うことで,推論タスクに対する疑似フィードバックを生成する手法を提案する。 本研究では,擬似フィードバックを優先最適化に用いる数学的推論と符号化の両タスクについて実験を行い,両タスク間の改善を観察する。
  論文  参考訳（メタデータ） (2024-11-25T12:44:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。