論文の概要: Learning from Unverified Peers via Shared Residual Distillation

• arxiv url: http://arxiv.org/abs/2610.22080v1
• Date: Thu, 15 Oct 2026 15:36:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.163143
• Title: Learning from Unverified Peers via Shared Residual Distillation
• Title（参考訳）: 残食分別蒸留による未確認者からの学習
• Abstract要約: 言語モデルは、同じ問題に対するいくつかのソリューションを生成することができる。 本研究では,モデル自体の未検証ピアトラジェクトリから学習する自己蒸留法である共有残留蒸留(SRD)を提案する。
• 参考スコア（独自算出の注目度）: 30.289604054190963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A language model can generate several solutions to the same problem, some leading to correct answers and others to incorrect ones. Many post-training methods turn these trajectories into learning signals using supervision from reference answers, verifiable feedback, or external teachers. Without such supervision, learning from the model's own generations becomes less straightforward, as their correctness cannot be reliably assessed. An incorrect solution may nevertheless contain useful intermediate reasoning, so its value as supervision need not be determined solely by its final answer. Can a model improve by learning from its unverified peer solutions without first determining which are correct? We propose Shared Residual Distillation (SRD), an on-policy self-distillation method that learns from the model's own unverified peer trajectories. SRD compares how peers change the prediction distribution relative to a control, retaining adjustments that agree in direction and are conservative in magnitude. This yields supervision without treating any complete solution as correct, and the trained model requires no peers at inference time. Starting from the corresponding base models, SRD raises mean AIME24--26 avg@12 from 11.02 to 16.20 on Qwen3-1.7B, from 19.07 to 45.46 on Qwen3-4B, and from 21.39 to 54.44 on Qwen3-8B. Controlled ablations support the value of the shared-residual construction, and we observe no degradation relative to the base models on two general-capability benchmarks.
• Abstract（参考訳）: 言語モデルは、同じ問題に対するいくつかのソリューションを生成することができる。 多くのポストトレーニング手法は、これらのトラジェクトリを基準回答の監督、検証されたフィードバック、または外部教師による教師による学習信号に変換する。 このような監督がなければ、モデル自身の世代からの学習は、その正確さを確実に評価できないため、より単純になる。 しかし、誤った解は有用な中間的推論を含んでいるため、その最終的な答えだけでは、監督としての価値を判断する必要はない。 モデルは、まずどれが正しいかを決定することなく、その未検証のピアソリューションから学習することによって改善できるのか? 本研究では,モデル自体の未検証ピアトラジェクトリから学習する自己蒸留法である共有残留蒸留(SRD)を提案する。 SRDは、ピアが制御に対して予測分布をどう変化させるかを比較し、方向が一致し、大きさが保守的な調整を保持する。 これにより、完全なソリューションを正しく扱うことなく、監視が得られ、トレーニングされたモデルは推論時にピアを必要としない。 SRDは対応するベースモデルから始め、平均 AIME24--26 avg@12 を Qwen3-1.7Bで 11.02 から 16.20 に、 Qwen3-4Bで 19.07 から 45.46 に、 Qwen3-8Bで 21.39 から 54.44 に引き上げる。 制御されたアブリゲーションは、共有残差構成の値をサポートし、2つの汎用性ベンチマークのベースモデルに対する劣化を観測しない。

関連論文リスト

• Outcome-Routed Distillation and Reinforcement Learning for Diffusion Language Models [1.8303866360394607]
  我々は,dLLMを混合する可能性のないパイプラインを開発した。 生徒のロールアウトがすべて失敗するが、教師が成功すると、モデルは生徒の気まぐれなキャンバスに密集したKLの監督を受ける。
  論文  参考訳（メタデータ） (2026-10-13T22:44:18Z)
• What pass@k Cannot Measure: Evaluating Diversity and Capability Retention after Post-Training [4.500362688166346]
  pass@$k$は、正しいサンプルの確率にのみ依存しており、どのように出力に分散するかという用語は存在しない。 これは、通常の認証に使用されるプロパティが欠落している標準評価プロトコルの具体例である、と我々は主張する。
  論文  参考訳（メタデータ） (2026-10-05T21:16:32Z)
• Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation [34.25144986131144]
  オンラインの自己蒸留は、学生自身の方針からサンプリングされた軌跡に対する密集したトークンレベルのフィードバックを提供する。 本稿では, オンライン蒸留における適応的反復補修フレームワークであるAIR-OPDを紹介する。 DAPO-Math-17Kデータセット上でAIR-OPDをトレーニングし, AIME24, AIME25, HMMT25, MMLU-Pro, GPQAのアウト・オブ・ディストリビューションテストと並行して評価する。
  論文  参考訳（メタデータ） (2026-10-02T02:34:57Z)
• Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
  リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
  論文  参考訳（メタデータ） (2026-07-24T02:51:42Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Learning from Your Own Mistakes: Constructing Learnable Micro-Reflective Trajectories for Self-Distillation [14.043179860831406]
  自己蒸留は、モデルのロールアウトをトレーニング信号として使用することにより、大規模言語モデルの推論を改善する。 本稿では,暗黙的な分布アライメントから明示的な軌跡構築まで,自己蒸留を推し進めるTrajectory-Augmented Policy Optimization (TAPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-17T09:24:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。