論文の概要: Rufus-Air: An Open LLM Post-Training Recipe

• arxiv url: http://arxiv.org/abs/2609.29421v1
• Date: Thu, 24 Sep 2026 11:45:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.895759
• Title: Rufus-Air: An Open LLM Post-Training Recipe
• Title（参考訳）: Rufus-Air: 訓練後のオープンなLLM
• Abstract要約: Rufus-Airは、GLM-4.5-Air-Base上のオープンで再現可能なポストトレーニングレシピである。 レシピを再現するのに必要なデータ、報酬設計、インフラ、ステージオーダー、ステージワイズの結果を文書化します。
• 参考スコア（独自算出の注目度）: 89.03131558287477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rufus-Air is an open and reproducible post-training recipe on GLM-4.5-Air-Base (106B-A12B), organized as a serial pipeline of eight stages: SFT, Reasoning RL, Coding RL, Instruction-Following RL, General Agent, Coding Agent, Search Agent, and RLHF. We document the data, reward design, infrastructure, stage order, and stagewise results needed to reproduce the recipe. Stages progress from basic to advanced capabilities and from hard, verifiable rewards to softer judge-based signals. Training builds on open-source components and public data, much of it used as released, without new human annotation or an in-house distillation teacher. Our main findings are that (i) diverse, high-quality SFT establishes a strong capability floor; (ii) difficulty filtering keeps RL prompts within a productive learning range; (iii) reward reliability provides a practical principle for ordering stages; and (iv) infrastructure and engineering choices are part of the recipe, not just an implementation detail. Rufus-Air improves over the official GLM-4.5-Air post-trained release and is competitive with similarly sized open models.
• Abstract（参考訳）: Rufus-Airは、GLM-4.5-Air-Base (106B-A12B)上のオープンで再現可能なポストトレーニングレシピであり、SFT、Reasoning RL、Coding RL、Instruction-Following RL、General Agent、Coding Agent、Search Agent、RLHFの8つのステージからなるシリアルパイプラインとして組織されている。 レシピを再現するのに必要なデータ、報酬設計、インフラ、ステージオーダー、ステージワイズの結果を文書化します。 ステージは基本的な能力から高度な能力、ハードで検証可能な報酬から、よりソフトな判断に基づく信号へと進化する。 トレーニングはオープンソースコンポーネントと公開データに基づいて構築されており、その多くはリリース時に使われ、新しい人間のアノテーションや社内の蒸留教師は必要としない。 私たちの主な発見は (i)多様で高品質なSFTは、強力な能力床を確立する。 (ii)RLのプロンプトを生産的学習範囲内に保持する難易度フィルタリング (三 報酬の信頼性は、段階を発注する実用的な原則である。) (4) インフラストラクチャとエンジニアリングの選択は、単なる実装の詳細ではなく、レシピの一部です。 ルーファス・エアは公式のGLM-4.5-Airよりも改良され、同様のサイズのオープンモデルと競合する。

関連論文リスト

• RL Excursions during Pre-Training: Re-examining Policy Optimization for LLM training [18.932290080075685]
  RLは非常に早期に有効であることが分かっており、SFT$to$RLパイプラインと早期にマッチすることが多い。 ベースチェックポイントに直接RLを適用すると、モデルの分布が拡大する。 モデル全体の能力は基本的にRLによって変わらず、SFTの後に劣化する。
  論文  参考訳（メタデータ） (2026-06-02T22:55:18Z)
• SeRL: Self-Play Reinforcement Learning for Large Language Models with Limited Data [65.56911325914582]
  限られた初期データを用いたLarge Language Models (LLM) トレーニングのブートストラップとして,SeRL(Se-play Reinforcement Learning)を提案する。 提案したSeRLは、その結果よりも優れ、検証可能な報酬を持つ高品質なデータと同等の性能が得られる。
  論文  参考訳（メタデータ） (2025-05-25T13:28:04Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• RLHF Workflow: From Reward Modeling to Online RLHF [79.83927049253924]
  本稿では,RLHF(Online Iterative Reinforcement Learning from Human Feedback)のワークフローについて報告する。 RLHFは、最近の大規模言語モデル(LLM)文学において、オフライン言語よりもはるかに優れていると広く報告されている。 教師付き微調整(SFT)と反復RLHFは,完全なオープンソースデータセットを用いて最先端の性能を得ることができることを示す。
  論文  参考訳（メタデータ） (2024-05-13T15:50:39Z)
• TeaMs-RL: Teaching LLMs to Generate Better Instruction Datasets via Reinforcement Learning [7.9961739811640244]
  大きな言語モデル(LLM)は、人間のアノテーションに大きく依存することによる課題に直面することが多い。 この作業では、強化学習(RL:Reinforcement Learning)へと方向転換します。 我々はRLを用いて、微調整だけで十分である基礎的な命令データセットを直接生成する。
  論文  参考訳（メタデータ） (2024-03-13T16:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。