論文の概要: Coupled Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback
- arxiv url: http://arxiv.org/abs/2609.17474v1
- Date: Tue, 15 Sep 2026 17:15:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.633299
- Title: Coupled Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback
- Title（参考訳）: 校正と学習の結合--リワードフィードバックを伴わないLLM蒸留における教師バイアスの緩和
- Abstract要約: 大きな言語モデル(LLM)蒸留は、強力な教師の能力をより小さな学生に伝達することを目的としている。
しかし、直接の模倣は教師の体系的な偏見や誤りを伝達することもある。
本稿では,教師の校正と生徒の更新を結びつけるアルゴリズムであるCoupled and Learning (CCL)を提案する。
- 参考スコア（独自算出の注目度）: 24.756084698191568
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) distillation aims to transfer the capabilities of a powerful teacher to a smaller student. Direct imitation, however, can also transfer the teacher's systematic bias and errors. This challenge is particularly pronounced under covariate shift, when the teacher's reliability on target questions is uncertain and target-domain reward feedback is unavailable. We propose Coupled Calibration and Learning (CCL), an LLM distillation algorithm that couples teacher calibration with student updates through token-level branching, using reward feedback only on source questions. Each iteration calibrates the teacher using source feedback and then uses the calibrated teacher to train the student on target questions. The updated student, in turn, informs subsequent calibration. In an autoregressive policy framework, we prove that the output student's expected average Kullback-Leibler divergence to the oracle student converges to zero at a polynomial rate in the number of iterations. The oracle maximizes the true reference-regularized target reward within the student class, which need not represent the unrestricted optimal policy. Our analysis quantifies the progress of projected student gradient updates while controlling the error in teacher calibration. We further establish a separation from regularized direct matching: its error relative to the oracle student can remain bounded away from zero even when the teacher achieves higher regularized target reward than every student policy. These results demonstrate that LLM distillation can overcome persistent teacher bias and recover the optimal student through coupled calibration and learning, without target-domain reward feedback.
- Abstract（参考訳）: 大きな言語モデル(LLM)蒸留は、強力な教師の能力をより小さな学生に伝達することを目的としている。
しかし、直接の模倣は教師の体系的な偏見や誤りを伝達することもある。
この課題は、教師の目標質問に対する信頼性が不確実であり、目標ドメイン報酬フィードバックが利用できない場合、特に共変量シフトの下で顕著である。
本稿では,LLM蒸留アルゴリズムであるCoupled Calibration and Learning (CCL)を提案する。
各イテレーションは、ソースフィードバックを使用して教師を校正し、校正された教師を使用して、ターゲットの質問に対して生徒を訓練する。
更新された生徒は次に校正を通知する。
自己回帰政策の枠組みでは、出力学生が期待する平均的なクルバック・リーブラー偏差が、反復回数の多項式速度でゼロに収束することを証明する。
オラクルは、制約のない最適ポリシーを表現する必要のない、学生クラス内の真の参照規則化された目標報酬を最大化する。
本分析は,教師の校正における誤差を制御しながら,学生の進路の進捗を定量的に分析する。
さらに,教師がすべての学生方針よりも高い正規化目標報酬を達成しても,学生に対する誤差はゼロから遠ざかることが可能である。
これらの結果から,LLM蒸留は教師の長期的バイアスを克服し,校正と学習を併用することで,目標ドメインの報奨フィードバックを伴わずに最適な生徒を回復できることが示された。
関連論文リスト
- H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z) - OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。
OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
論文 参考訳（メタデータ） (2026-05-12T17:00:53Z) - Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning [2.9029480541171107]
そこで我々は, 自己蒸留を推論するための効果的な新しい軸として, 適応型教師曝露を提案する。
適応型自己蒸留(ATESD)は, 競争力のある自己蒸留とRLベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-05-12T03:15:58Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z) - Residual-as-Teacher: Mitigating Bias Propagation in Student--Teacher Estimation [14.526961596109361]
そこでは,教師の事前学習による予測を用いて,学生モデルの指導を行う学習者環境における統計的推定について検討する。
標準的アプローチは、教師の出力と直接一致するように学生に訓練することであり、これは学生ソフトマッチング(SM)と呼ばれる。
本稿では,教師が教師の予測の残差を推定する手法として,Ress-as-Teacher (RaT) を提案する。
論文 参考訳（メタデータ） (2026-03-26T14:07:47Z) - Improved Scaling Laws via Weak-to-Strong Generalization in Random Feature Ridge Regression [27.0471650610245]
スケーリング法則に影響を及ぼし,その後にテストエラーが発生するという意味で,潜在的な改善は極めて重要であることを示す。
厳密には、生徒は教師のスケーリング法則によらず、最小限の最適率を達成することができる。
論文 参考訳（メタデータ） (2026-03-05T21:32:59Z) - Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
LLM蒸留における多粒性セマンティックリビジョン法を提案する。
シーケンスレベルでは、シーケンス修正と再生戦略を提案する。
トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。
スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
論文 参考訳（メタデータ） (2024-07-14T03:51:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。