論文の概要: Prediction-Only Distillation in Linear and Logistic Regression

• arxiv url: http://arxiv.org/abs/2607.15450v1
• Date: Thu, 16 Jul 2026 20:45:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.700209
• Title: Prediction-Only Distillation in Linear and Logistic Regression
• Title（参考訳）: 線形およびロジスティック回帰における予測専用蒸留
• Abstract要約: 自己蒸留は典型的には、学生が教師の元々のトレーニングインプットで再訓練されるときに研究される。 我々は、新しいX予測混合方式により、この予測のみの方式でSDを研究する。 二項ロジスティック回帰では、予測混合は教師と純蒸留の両方より優れていることを示す。
• 参考スコア（独自算出の注目度）: 61.07540493350384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-distillation (SD) is typically studied when the student is retrained on the teacher's original training inputs. In many practical deployments, however, the labeled training data are no longer available, and one has access only to the trained predictor and fresh unlabeled covariates. We study SD in this prediction-only regime through a fresh-X prediction-mixed scheme: a pure-distilled student is trained on fresh covariates pseudo-labeled by the teacher, and the final predictor is an affine combination of the teacher and student predictions. For ridge regression under proportional asymptotics, we derive deterministic equivalents for the optimally mixed prediction risk under general anisotropic covariance and deterministic signal. We show that this risk is strictly smaller than the teacher risk for almost every pair of teacher and student regularization levels, including when the fresh covariates are out-of-distribution and even when their covariance is isotropic. We further show that the optimal mixing weight cannot be identified from unlabeled data alone, but can be consistently estimated in a single post-training step using a small independent labeled calibration set, without additional model fitting. Finally, for binary logistic regression, we show that prediction mixing can outperform both the teacher and the pure-distilled classifier.
• Abstract（参考訳）: 自己蒸留(SD: Self-distillation)は、学生が教師の元々のトレーニングインプットで再訓練されるときに、一般的に研究される。 しかし、多くの実践的な展開では、ラベル付きトレーニングデータは利用できなくなり、トレーニングされた予測子と新しいラベルなしの共変体にのみアクセスすることができる。 教師が擬似ラベルを付した新鮮共変体を純蒸留した学生が学習し,最終予測器は教師と学生の予測のアフィン結合である。 比例的な漸近性の下での隆起回帰は、一般異方性共分散および決定論的信号の下で最適に混合された予測リスクに対する決定論的等価性を導出する。 このリスクは、教師と学生のほぼすべての正則化レベルにおける教師のリスクよりも厳密に小さいことを示し、例えば、新しい共分散が非分布である場合や、共分散が等方性である場合でもである。 さらに,未ラベルデータのみから最適混合重量を同定することはできないが,独立ラベル付きキャリブレーションセットを用いて1回の訓練後に連続的に推定できることを示す。 最後に、二項対数回帰について、予測混合は教師と純粋蒸留分類器の両方より優れていることを示す。

関連論文リスト

• Fast Rates for Nonstationary Weighted Risk Minimization [6.015898117103068]
  本稿では,非定常条件下でのサンプル外予測誤差について検討する。 本稿では,過大リスクを学習項と分布ドリフトに関連する誤り項に一般化する。
  論文  参考訳（メタデータ） (2026-02-05T15:10:07Z)
• How Is Uncertainty Propagated in Knowledge Distillation? [7.132728938560163]
  3つの代表的なモデルクラスにわたる知識蒸留を通して不確実性がいかに伝播するかを示す。 複数の教師の回答を平均化する分散対応戦略と,教師と学生の見積を組み合わせた分散重み付けという2つの戦略を導入する。 これらの結果から,教師の不確実性を反映した分散型蒸留により,より安定した学生が生まれることが示唆された。
  論文  参考訳（メタデータ） (2026-01-26T19:18:50Z)
• Cost-Sensitive Conformal Training with Provably Controllable Learning Bounds [21.86960662161151]
  コンフォーマル予測は、機械学習モデルの予測の不確実性を定量化するフレームワークである。 CPが測定した不確実性を調整するため、共形学習法は予測セットのサイズを最小化する。 本稿では,インジケータ近似機構に依存しない簡易なコスト依存型コンフォメーショントレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-11-22T01:11:44Z)
• Active Data Sampling and Generation for Bias Remediation [0.0]
  トレーニング済みのクラスを微調整する際、不公平な分類を補うために、サンプリングとデータ生成の混合戦略が提案されている。 視覚的セマンティック・ロール・ラベリングのためのDeep Modelsのケーススタディとして、提案手法は90/10の不均衡から始まるシミュレートされたジェンダーバイアスを完全に解決することができる。
  論文  参考訳（メタデータ） (2025-03-26T10:42:15Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
  textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。 トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。 非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
  論文  参考訳（メタデータ） (2023-12-27T15:06:36Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
  Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。 既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。 本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
  論文  参考訳（メタデータ） (2022-07-28T02:15:47Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。