論文の概要: Bayesian Self-Distillation for Image Classification

• arxiv url: http://arxiv.org/abs/2512.24162v1
• Date: Tue, 30 Dec 2025 11:48:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.37251
• Title: Bayesian Self-Distillation for Image Classification
• Title（参考訳）: 画像分類のためのベイズ自己蒸留法
• Authors: Anton Adelöw, Matteo Gamba, Atsuto Maki,
• Abstract要約: 分類のためのディープニューラルネットワークの監視トレーニングは通常、過信を促進し、キャリブレーション、堅牢性、堅牢性を制限できるハードターゲットに依存している。 自己蒸留法は、モデル自身の予測にあるクラス間およびサンプル固有の情報を活用することで、これを緩和することを目的としている。 本研究では,ベイジアン自己蒸留法(BSD)を提案し,ベイジアン推定を用いたサンプル固有目標分布の定式化手法を提案する。 BSDは、既存のアーキテクチャ保存自己よりも高い期待エラー(ECE)(-40%)をもたらす
• 参考スコア（独自算出の注目度）: 6.446179861303341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised training of deep neural networks for classification typically relies on hard targets, which promote overconfidence and can limit calibration, generalization, and robustness. Self-distillation methods aim to mitigate this by leveraging inter-class and sample-specific information present in the model's own predictions, but often remain dependent on hard targets, reducing their effectiveness. With this in mind, we propose Bayesian Self-Distillation (BSD), a principled method for constructing sample-specific target distributions via Bayesian inference using the model's own predictions. Unlike existing approaches, BSD does not rely on hard targets after initialization. BSD consistently yields higher test accuracy (e.g. +1.4% for ResNet-50 on CIFAR-100) and significantly lower Expected Calibration Error (ECE) (-40% ResNet-50, CIFAR-100) than existing architecture-preserving self-distillation methods for a range of deep architectures and datasets. Additional benefits include improved robustness against data corruptions, perturbations, and label noise. When combined with a contrastive loss, BSD achieves state-of-the-art robustness under label noise for single-stage, single-network methods.
• Abstract（参考訳）: 分類のためのディープニューラルネットワークの監視トレーニングは通常、過信を促進し、キャリブレーション、一般化、堅牢性を制限できるハードターゲットに依存している。 自己蒸留法は、モデル自身の予測にあるクラス間およびサンプル固有の情報を活用することで、これを緩和することを目的としている。 このことを念頭に,ベイジアン自己蒸留法 (BSD) を提案する。 既存のアプローチとは異なり、BSDは初期化後にハードターゲットに依存しない。 BSDは、CIFAR-100上でResNet-50よりも高いテスト精度(例:CIFAR-100におけるResNet-50の+1.4%)と期待されるキャリブレーションエラー(-40% ResNet-50, CIFAR-100)を達成している。 その他のメリットとしては、データ破損に対する堅牢性の改善、摂動、ラベルノイズなどがある。 対照的な損失と組み合わせると、BSDはシングルステージのシングルネットワーク方式のラベルノイズの下で最先端のロバスト性を達成する。

関連論文リスト

• CoDA: From Text-to-Image Diffusion Models to Training-Free Dataset Distillation [71.52209438343928]
  コア分散アライメント(Core Distribution Alignment, CoDA)は、市販のテキスト・ツー・イメージモデルのみを使用して効果的な蒸留(DD)を可能にするフレームワークである。 私たちのキーとなるアイデアは、まず、ロバストな密度ベースの発見メカニズムを使用して、ターゲットデータセットの"固有のコア分布"を識別することです。 そうすることで、CoDAは汎用的な生成先行とターゲットセマンティクスのギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2025-12-03T14:45:57Z)
• BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
  現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。 この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。 しかし、これは現実世界の長い尾のデータ分布には適用できない。 本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
  論文  参考訳（メタデータ） (2025-06-29T15:12:50Z)
• Credal Wrapper of Model Averaging for Uncertainty Estimation in Classification [5.19656787424626]
  本稿では,ベイズニューラルネットワーク(BNN)とディープアンサンブル(DE)のモデル平均化のクレダルセット表現を定式化するための,クレダルラッパー(redal wrapper)と呼ばれる革新的なアプローチを提案する。 BNNやDESから導出される単一の予測分布の有限個の集合が与えられた場合、提案したクレダルラッパーアプローチはクラスごとの上限値と低い確率を抽出する。 提案手法は,BNNおよびDEベースラインと比較して不確実性推定において優れた性能を示し,破損したデータに対して低いキャリブレーション誤差を実現する。
  論文  参考訳（メタデータ） (2024-05-23T20:51:22Z)
• Improving the Accuracy-Robustness Trade-Off of Classifiers via Adaptive Smoothing [9.637143119088426]
  正誤例に対する頑健な基本分類器の信頼性差が,この改良の鍵となることを示す。 逆入力検出器を2つのベースモデルの混合を適応的に調整する混合ネットワークに適応させる。 提案したフレキシブルな手法は「適応的平滑化(adaptive smoothing)」と呼ばれ、クリーンな精度、堅牢性、あるいは敵検出を改善する既存のあるいは将来の方法と連携して機能する。
  論文  参考訳（メタデータ） (2023-01-29T22:05:28Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。