論文の概要: Smaller Models, Better Rejects: Preference Distillation Scaling

• arxiv url: http://arxiv.org/abs/2609.38987v1
• Date: Wed, 30 Sep 2026 05:04:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.198553
• Title: Smaller Models, Better Rejects: Preference Distillation Scaling
• Title（参考訳）: より小さなモデル、より優れたリジェクト: 推奨蒸留スケーリング
• Abstract要約: 7Bから72Bまでの学生の間で、より小さな凍結モデルでは、推論計算が少なく、自己生成の拒絶よりも強い学生を訓練する。 そこで本研究では,小型モデルと学生規模モデルとの混合リジェクトにより,より小型モデルのシェアが増大するにつれて,性能が向上することを示す。 下のような選択は、すべてのソースにおいて、上位のような選択よりも優れています。
• 参考スコア（独自算出の注目度）: 36.07661103959709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Preference distillation typically treats a teacher response as preferred and the student's own response as rejected. This assumes that self-generated failures are the most informative negatives and that rejects must come from a model at least as large as the student, making generation costly at scale. We find neither assumption holds: across students from 7B to 72B, smaller frozen models generate rejects with less inference compute yet train stronger students than self-generated rejects, before and after sequence-level knowledge distillation, on code generation and mathematical reasoning. To explain this result, we derive a finite-horizon utility bound for Direct Preference Optimization in a linearized feature model. The bound characterizes favorable reject distributions and motivates three interventions. First, mixing rejects from smaller and student-scale models improves performance as the smaller model's share increases. Second, reassigning rejects to other prompts and shuffling their code tokens still outperform length-matched gibberish, showing that task structure contributes to reject utility. Third, selecting candidates with lower likelihood under the reference policy improves net transfer when higher-likelihood candidates provide less useful contrast. Lower-likelihood selections outperform higher-likelihood ones for every source. These results suggest that effective rejects preserve task structure while limiting coupling to the reference policy, and that smaller frozen models can provide them at low cost.
• Abstract（参考訳）: 優先蒸留は典型的には教師の反応を好んで扱い、生徒自身の反応を拒絶する。 このことは、自己生成の失敗が最も有意義な否定であり、拒絶は少なくとも学生と同じ大きさのモデルから来なければならず、大規模に生成するのにコストがかかることを前提としている。 7Bから72Bまでの学生の間では、より小さな凍結モデルでは推論計算が少ないリジェクションを生成するが、自己生成リジェクションよりも強力なリジェクションを、コード生成と数学的推論に基づいて、シーケンスレベルの知識蒸留の前後で訓練する。 この結果を説明するために、線形化特徴モデルにおいて、直接選好最適化のための有限水平ユーティリティを導出する。 境界は好意的な拒絶分布を特徴付け、3つの介入を動機付けている。 第一に、より小さなモデルと学生規模のモデルの混合は、より小さなモデルのシェアが増加するにつれて、性能を向上させる。 第二に、他のプロンプトへの再割り当てと、コードトークンのシャッフルは、依然として長さにマッチしたgibberishよりも優れており、タスク構造がリジェクトユーティリティに寄与していることを示している。 第3に、基準ポリシーの下で低い可能性の候補を選択することは、高次候補が有用でないコントラストを提供するときに、ネット転送を改善する。 下のような選択は、すべてのソースにおいて、上位のような選択よりも優れています。 これらの結果から, 実効的なリジェクトは基準ポリシとの結合を制限しながらタスク構造を保ち, より小型の凍結モデルにより低コストでタスク構造を構築できることが示唆された。

関連論文リスト

• Visualizing Distribution Coverage in Generative Diffusion Models [55.20970915558567]
  拡散蒸留はサンプリングを加速するために広く採用されており、結果として得られる数段階のモデルが、世代ごとの多段階の教師と一致するか、さらに上回っていると広く信じられている。 textbfpass@$mathbfk$を使って、蒸留されたモデルが教師に本当に合うかどうかを再検討する。
  論文  参考訳（メタデータ） (2026-09-30T03:11:13Z)
• Stop Overthinking: Unlocking Efficient Listwise Reranking with Minimal Reasoning [9.10992705914357]
  推論長とランキング品質の関係について検討する。 長さ正規化自己蒸留フレームワークを提案する。 提案手法は,異なる検索環境において,推論トークンの消費量を34%～37%削減しつつ,教師の有効性を維持する。
  論文  参考訳（メタデータ） (2026-05-14T06:44:44Z)
• ImplicitRM: Unbiased Reward Modeling from Implicit Preference Data for LLM alignment [49.93516092785756]
  現在の報酬モデリングは、収集コストの高い実験的なフィードバックデータに大きく依存している。 ImplicitRMは、暗黙の嗜好データから偏見のない報酬モデルを学ぶことを目的としている。 実験によると、ImplicitRMは暗黙の選好データセット間で正確な報酬モデルを学ぶ。
  論文  参考訳（メタデータ） (2026-03-24T13:32:14Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Logic-based Explanations for Linear Support Vector Classifiers with Reject Option [0.0]
  Support Vector (SVC) は線形分類問題に対する機械学習(ML)モデルとしてよく知られている。 本稿では、リジェクションオプション付き線形SVCに対する説明の正確性と最小性に関する形式的保証付き論理ベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-24T15:14:44Z)
• Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
  画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる 新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。 そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
  論文  参考訳（メタデータ） (2020-11-18T09:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。