論文の概要: Allspark: Weak to Strong Transfer via Alternating Chain of Thought

• arxiv url: http://arxiv.org/abs/2609.32913v1
• Date: Sat, 26 Sep 2026 20:05:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:59:37.879223
• Title: Allspark: Weak to Strong Transfer via Alternating Chain of Thought
• Title（参考訳）: Allspark: 思考の交互連鎖による強い伝達の弱さ
• Abstract要約: 我々は、訓練中に強力なモデルのロールアウトを使わずに、小さくて弱いモデルによって学習された推論の改善が、より大きく、より強力なモデルに利益をもたらすかどうかを問う。 思考の交互連鎖を通した弱強移動のためのトレーニングおよび推論フレームワークであるAllsparkを紹介した。 我々は、Alsparkを2つのスケールで研究する: 数学と推論にまたがる制御されたQwen実験、ARC-AGI-2におけるより大規模なインクリング実験。
• 参考スコア（独自算出の注目度）: 35.86311388016109
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in frontier models has renewed interest in large-scale reinforcement learning (RL), but the cost of generating large-model rollouts makes even testing RL recipes expensive. We ask whether reasoning improvements learned by a small, weak model can benefit a larger, stronger model without using the strong model's rollouts during training. We introduce Allspark, a training and inference framework for weak-to-strong transfer through alternating chains of thought. A weak teacher is trained alongside a frozen copy of the same model; the two alternate reasoning segments, and the frozen model produces the final answer. At inference time, a stronger student replaces the frozen training partner, while both models remain fixed. Because they communicate through text, the teacher can steer students from different model families and with different tokenizers. We study Allspark at two scales: controlled Qwen experiments across math and reasoning, and larger-scale Inkling experiments on ARC-AGI-2. The Inkling experiments show accuracy gains in within-family and cross-family settings, including transfer to Kimi and Nemotron, with benefits that vary across inference settings. These findings motivate reusing a trained weak teacher across strong students and examining the resulting accuracy--token tradeoff.
• Abstract（参考訳）: 近年,フロンティアモデルの進展により,大規模強化学習(RL)への関心が高まっている。 我々は、訓練中に強力なモデルのロールアウトを使わずに、小さくて弱いモデルによって学習された推論の改善が、より大きく、より強力なモデルに利益をもたらすかどうかを問う。 思考の交互連鎖を通した弱強移動のためのトレーニングおよび推論フレームワークであるAllsparkを紹介した。 弱い教師が同じモデルの凍結したコピーと一緒に訓練され、2つの別の推論セグメントと凍結したモデルが最終回答を生成する。 推論時には、より強い学生が凍結したトレーニングパートナーに取って代わるが、どちらのモデルも固定されている。 教師はテキストを通じてコミュニケーションをとるため、異なるモデルファミリーの生徒と異なるトークンーエーザの学生を操ることができる。 我々は、Alsparkを2つのスケールで研究する: 数学と推論にまたがる制御されたQwen実験、ARC-AGI-2におけるより大規模なインクリング実験。 Inklingの実験では、KimとNemotronへの転送を含む、家族内および家族間設定における精度の向上が示されており、推論設定によって異なるメリットがある。 これらの知見は、訓練を受けた弱い教師を強い学生に再利用し、その結果の正確さを調べる動機となった。

関連論文リスト

• Weak-to-Strong On-Policy Distillation [21.651421588571296]
  Weak-to-Strong On-Policy Distillation (W2S-OPD)を導入した。 4つの数学と3つのコードベンチマークで、W2S-OPDはOPDを上回り、学生がドメイン教師を超越し、監督源が弱くなっても改善を続けることができる。
  論文  参考訳（メタデータ） (2026-07-28T20:31:48Z)
• FABSVer: Faster Training and Better Self-Verification for LLM Mathematical Reasoning [8.96133612398978]
  自己検証モデルを備えた既存のアプローチは、解の生成と検証を2つの別々のタスクとして扱うのが一般的である。 本稿では,この2つのタスクを1世代パスに融合するFABSVerを提案する。 FABSVerは3つのモデルスケールで優れた自己検証と推論性能を実現する。
  論文  参考訳（メタデータ） (2026-05-27T12:26:34Z)
• Reasoning Through Chess: How Reasoning Evolves from Data Through Fine-Tuning and Reinforcement Learning [7.920254637344918]
  理論的に着想を得たデータセットの集合がチェスにおける言語モデルのパフォーマンスにどのように影響するかを分析する。 最良の動きを直接予測するための微調整が、効率的なRLと最強のダウンストリーム性能につながることが分かりました。 RLは移動品質の分布にかなりの正の変化をもたらし, 副次効果として幻覚率を低下させることを示した。
  論文  参考訳（メタデータ） (2026-04-06T19:53:39Z)
• The Delta Learning Hypothesis: Preference Tuning on Weak Data can Yield Strong Gains [50.66245575710432]
  個々のデータポイントからなるペアの嗜好データにより、個々のデータポイントの強度を超える利得が得られることを示す。 私たちの研究は、モデルが一般的に弱いと考えられるペアデータから驚くほどうまく学習できることを示しています。
  論文  参考訳（メタデータ） (2025-07-08T17:14:44Z)
• Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
  大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。 本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。 本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
  論文  参考訳（メタデータ） (2025-02-26T20:50:11Z)
• SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
  SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• UnLearning from Experience to Avoid Spurious Correlations [3.283369870504872]
  我々は,突発的相関の問題に対処する新しいアプローチを提案する: 経験から学ぶ(ULE) 本手法は,生徒モデルと教師モデルという,並列に訓練された2つの分類モデルを用いた。 提案手法は,Waterbirds,CelebA,Spawrious,UrbanCarsの各データセットに有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-04T15:06:44Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。