論文の概要: Instance-based Label Smoothing For Better Calibrated Classification Networks

• arxiv url: http://arxiv.org/abs/2110.05355v1
• Date: Mon, 11 Oct 2021 15:33:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 15:35:10.946038
• Title: Instance-based Label Smoothing For Better Calibrated Classification Networks
• Title（参考訳）: キャリブレーションネットワーク改善のためのインスタンスベースのラベル平滑化
• Authors: Mohamed Maher, Meelis Kull
• Abstract要約: ラベルの平滑化はディープニューラルネットワークで多クラス分類に広く利用されている。 ラベルのスムース化と自己蒸留の両方からインスピレーションを得ます。 本稿では2つの新しいインスタンスベースのラベル平滑化手法を提案する。
• 参考スコア（独自算出の注目度）: 3.388509725285237
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Label smoothing is widely used in deep neural networks for multi-class classification. While it enhances model generalization and reduces overconfidence by aiming to lower the probability for the predicted class, it distorts the predicted probabilities of other classes resulting in poor class-wise calibration. Another method for enhancing model generalization is self-distillation where the predictions of a teacher network trained with one-hot labels are used as the target for training a student network. We take inspiration from both label smoothing and self-distillation and propose two novel instance-based label smoothing approaches, where a teacher network trained with hard one-hot labels is used to determine the amount of per class smoothness applied to each instance. The assigned smoothing factor is non-uniformly distributed along with the classes according to their similarity with the actual class. Our methods show better generalization and calibration over standard label smoothing on various deep neural architectures and image classification datasets.
• Abstract（参考訳）: ラベルスムーシングはディープニューラルネットワークで多クラス分類に広く使われている。 モデル一般化を強化し、予測されたクラスの確率を下げることによって過信を減少させるが、他のクラスの予測確率を歪め、クラスワイドキャリブレーションが低下する。 モデル一般化のもう1つの方法は自己蒸留であり、生徒ネットワークを訓練するためのターゲットとして、1つのホットラベルで訓練された教師ネットワークの予測を用いる。 我々は, ラベルの平滑化と自己蒸留の両方から着想を得て, 2つの新しいインスタンスベースのラベル平滑化手法を提案し, ハードワンホットラベルで訓練された教師ネットワークを用いて各インスタンスに適用されるクラスごとの平滑性を決定する。 割り当てられた滑らか化係数は、実際のクラスと類似性に応じてクラスとともに一様ではない。 本手法は,様々な深層ニューラルネットワークと画像分類データセット上での標準ラベル平滑化よりも,より一般化とキャリブレーションの改善を示す。

関連論文リスト

• Posterior Label Smoothing for Node Classification [2.737276507021477]
  本稿では,トランスダクティブノード分類タスクに対して,単純かつ効果的なラベル平滑化を提案する。 本研究では, ソフトラベルを設計し, 周辺ラベル分布を通じて対象ノードの局所的コンテキストをカプセル化する。 以下の分析結果から,大域的なラベル統計を後続計算に組み込むことが,ラベル平滑化の成功の鍵であることが判明した。
  論文  参考訳（メタデータ） (2024-06-01T11:59:49Z)
• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)
• Active Inference-Based Optimization of Discriminative Neural Network Classifiers [3.1219977244201056]
  そこで本研究では,事前確率からトレーニングサンプルの候補分類ラベルを求めるアルゴリズムを提案する。 提案した目的関数は、まだ分布ベースでありながら、候補ラベル、元の参照ラベル、およびトレーニングサンプルの事前を組み込むことができる。
  論文  参考訳（メタデータ） (2023-06-04T19:30:28Z)
• Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
  テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。 モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T23:43:23Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Self-Supervised Classification Network [3.8073142980733]
  自己監視型エンドツーエンド分類ニューラルネットワークはラベルと表現を同時に学習する。 大規模なImageNetデータセットでうまく機能する最初の監視されていないエンドツーエンドの分類ネットワーク。
  論文  参考訳（メタデータ） (2021-03-19T19:29:42Z)
• Locally Adaptive Label Smoothing for Predictive Churn [40.17985689233356]
  現代のニューラルネットワークのトレーニングは、高いエンプレディションチャーンにつながる可能性がある。 チャーンを減らし,各サンプルのラベルを適応的に平滑化することで得られるソフトラベルのトレーニングがチャーンに対するベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-09T21:38:37Z)
• Class-Similarity Based Label Smoothing for Confidence Calibration [2.055949720959582]
  信頼性校正を改善するため,新しいラベルスムーシング方式を提案する。 異なるクラスは固有の類似性が異なるため、より類似したクラスは最終的な出力においてより近い確率値をもたらす。 これは、ラベル値が参照クラスと類似性に基づいている新しいスムーズなラベルの開発を動機付けている。
  論文  参考訳（メタデータ） (2020-06-24T20:26:22Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。