論文の概要: Teacher Supervision, Fixed Representations and Calibration: Exact Risk Calculations for Candidate-Scoring Decision Models

• arxiv url: http://arxiv.org/abs/2610.26797v1
• Date: Mon, 19 Oct 2026 17:42:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:19:20.655784
• Title: Teacher Supervision, Fixed Representations and Calibration: Exact Risk Calculations for Candidate-Scoring Decision Models
• Title（参考訳）: 教師の監督・修正表現・校正:候補決定モデルの具体的なリスク計算
• Abstract要約: 候補スコア決定モデルは、提示された解集合上の確率分布を返す。 有限サンプルリスクを正確に計算できるガウスサロゲートの各成分を解析する。
• 参考スコア（独自算出の注目度）: 1.4824891788575416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Candidate-scoring decision models return a probability distribution over a presented set of answers. Public documentation of one such system, Jev, and of an open counterpart, JevAny, describes three training ingredients that determine what these probabilities estimate: soft targets from larger models, a frozen pretrained backbone and temperature calibration. We analyze each ingredient in Gaussian surrogates where the finite-sample risk can be computed exactly. A student trained on teacher targets inherits the teacher's bias, which more student data does not remove and agreement with the teacher does not reveal. A fixed representation lowers the risk only below an explicit sample-size threshold. In a probit model the exact recalibration map is a temperature scaling, which removes all excess risk only when the teacher's coefficient has the correct direction and otherwise leaves a residual that calibration diagnostics do not detect. Under Luce's choice axiom, candidate scores are coherent across refinements of an event if and only if they aggregate by log-sum-exp. On 231,521 credit card complaints from the Consumer Financial Protection Bureau, where the decision is whether a complaint ends in monetary relief, a student trained on a logistic teacher's probabilities ends at the teacher's decision cost while a student trained on outcomes goes 8% below it, a 30B model read zero-shot remains worse than the teacher after recalibration, and that model departs from the coherence condition by 17.5 decibans. Pretrained representations reduce the labeled data required and calibration corrects the scale of the probabilities, but neither corrects a biased teacher, so the probabilities have to be checked against realized outcomes.
• Abstract（参考訳）: 候補スコア決定モデルは、提示された解集合上の確率分布を返す。 そのようなシステムのひとつであるJevAnyとオープンなシステムであるJevAnyの公開資料には、これらの確率を見積もる3つのトレーニング要素が記述されている。 有限サンプルリスクを正確に計算できるガウスサロゲートの各成分を解析する。 教師の目標に基づいて訓練された学生は、教師の偏見を継承するが、より多くの生徒のデータは取り除かれず、教師との合意も明らかにされない。 固定表現は、明示的なサンプルサイズ閾値未満のリスクを下げる。 プロビットモデルでは、正確な校正マップは温度のスケーリングであり、教師の係数が正しい方向を持つときだけ過剰なリスクを除去し、それ以外の場合、校正診断が検出しない残差を残している。 ルースの選択公理の下では、候補スコアは、イベントの洗練と、それらがlog-sum-expによって集約される場合に限り、一貫性がある。 消費者金融保護局からの231,521件のクレジットカードの苦情では、苦情が金銭的救済で終わるか否かが判断され、ロジスティックな教師の確率で訓練された学生が教師の決定コストで終了し、結果のトレーニングを受けた生徒が8%下がった場合、再校正後の30Bモデルではゼロショットは教師より悪化し、そのモデルは17.5デシバンでコヒーレンス状態から離脱する。 事前訓練された表現は、ラベル付きデータを減らし、キャリブレーションは確率のスケールを補正するが、どちらもバイアスのある教師を補正しないため、実際の結果に対して確率をチェックする必要がある。

関連論文リスト

• Coupled Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback [24.756084698191568]
  大きな言語モデル(LLM)蒸留は、強力な教師の能力をより小さな学生に伝達することを目的としている。 しかし、直接の模倣は教師の体系的な偏見や誤りを伝達することもある。 本稿では,教師の校正と生徒の更新を結びつけるアルゴリズムであるCoupled and Learning (CCL)を提案する。
  論文  参考訳（メタデータ） (2026-09-15T17:15:40Z)
• ALRA: Adaptive Local Relational Alignment for Logit-Based Pre-training Distillation of Autoregressive Language Models [4.5311655360445515]
  地元の選択は学生が考えるトークンを見逃しかねないが、学生のみの選択は訓練の早い段階で不正確なランキングに頼ることができる。 本稿では,学生の提案と教師指導を組み合わせた位置特化フレームワークである適応的局所アライメント(ALRA)を提案する。 ALRAは最強の蒸留ベースラインである0.94点と0.83点を越え、予修蒸留を2.31点と2.91点に改善する。
  論文  参考訳（メタデータ） (2026-09-03T04:26:39Z)
• SPOT: Sparse Probing and Outcome Calibration for On-Policy Distillation [28.886137823815826]
  Sparse Probing and Outcome-calibrated Targets OPD (SPOT)を紹介する。 SPOTは、取得-探索-探索-探索手順を通じて、どこで調査し、何を蒸留するかという2つの複合的な決定に対処する。 複数の学生モデルと推論ベンチマークによる実験は、SPOTの有効性を実証している。
  論文  参考訳（メタデータ） (2026-08-05T03:59:24Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Prediction-Only Distillation in Linear and Logistic Regression [61.07540493350384]
  自己蒸留は典型的には、学生が教師の元々のトレーニングインプットで再訓練されるときに研究される。 我々は、新しいX予測混合方式により、この予測のみの方式でSDを研究する。 二項ロジスティック回帰では、予測混合は教師と純蒸留の両方より優れていることを示す。
  論文  参考訳（メタデータ） (2026-07-16T20:45:56Z)
• Residual-as-Teacher: Mitigating Bias Propagation in Student--Teacher Estimation [14.526961596109361]
  そこでは,教師の事前学習による予測を用いて,学生モデルの指導を行う学習者環境における統計的推定について検討する。 標準的アプローチは、教師の出力と直接一致するように学生に訓練することであり、これは学生ソフトマッチング(SM)と呼ばれる。 本稿では,教師が教師の予測の残差を推定する手法として,Ress-as-Teacher (RaT) を提案する。
  論文  参考訳（メタデータ） (2026-03-26T14:07:47Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Calibrating Predictions to Decisions: A Novel Approach to Multi-Class Calibration [118.26862029820447]
  我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。 決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
  論文  参考訳（メタデータ） (2021-07-12T20:17:28Z)
• Predicting Early Dropout: Calibration and Algorithmic Fairness Considerations [2.7048165023994057]
  本研究では,大学中退のリスクを予測できる機械学習手法を開発した。 予測精度(AUC)および誤差率(一般化偽陽性率、GFPR、一般化偽陰性率、GFNR)の観点から、この方法が一部の敏感群の識別結果につながるかどうかを分析します。
  論文  参考訳（メタデータ） (2021-03-16T13:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。