論文の概要: Transfer Knowledge from Head to Tail: Uncertainty Calibration under Long-tailed Distribution

• arxiv url: http://arxiv.org/abs/2304.06537v1
• Date: Thu, 13 Apr 2023 13:48:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 14:15:34.025560
• Title: Transfer Knowledge from Head to Tail: Uncertainty Calibration under Long-tailed Distribution
• Title（参考訳）: 頭部から爪への伝達知識:長期分布下での不確実性校正
• Authors: Jiahao Chen, Bing Su
• Abstract要約: 現在の校正技術は、異なるクラスを均等に扱い、暗黙的にトレーニングデータの分布が均衡していると仮定している。 テールクラスのサンプルの重みを推定し,知識伝達に基づくキャリブレーション手法を提案する。
• 参考スコア（独自算出の注目度）: 24.734851889816206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to estimate the uncertainty of a given model is a crucial problem. Current calibration techniques treat different classes equally and thus implicitly assume that the distribution of training data is balanced, but ignore the fact that real-world data often follows a long-tailed distribution. In this paper, we explore the problem of calibrating the model trained from a long-tailed distribution. Due to the difference between the imbalanced training distribution and balanced test distribution, existing calibration methods such as temperature scaling can not generalize well to this problem. Specific calibration methods for domain adaptation are also not applicable because they rely on unlabeled target domain instances which are not available. Models trained from a long-tailed distribution tend to be more overconfident to head classes. To this end, we propose a novel knowledge-transferring-based calibration method by estimating the importance weights for samples of tail classes to realize long-tailed calibration. Our method models the distribution of each class as a Gaussian distribution and views the source statistics of head classes as a prior to calibrate the target distributions of tail classes. We adaptively transfer knowledge from head classes to get the target probability density of tail classes. The importance weight is estimated by the ratio of the target probability density over the source probability density. Extensive experiments on CIFAR-10-LT, MNIST-LT, CIFAR-100-LT, and ImageNet-LT datasets demonstrate the effectiveness of our method.
• Abstract（参考訳）: 与えられたモデルの不確実性を見積もる方法が重要な問題である。 現在の校正技術は、異なるクラスを等しく扱うため、トレーニングデータの分布が均衡していると暗黙的に仮定するが、現実世界のデータはしばしばロングテール分布に従うという事実を無視する。 本稿では,ロングテール分布からトレーニングしたモデルを校正する問題を考察する。 不均衡なトレーニング分布とバランスの取れたテスト分布の違いにより、温度スケーリングのような既存のキャリブレーション法は、この問題をうまく一般化できない。 ドメイン適応のための特定のキャリブレーション方法も、利用できないラベルなしのターゲットドメインインスタンスに依存しているため、適用できない。 ロングテール分布から訓練されたモデルは、ヘッドクラスよりも自信過剰である傾向がある。 そこで本研究では,長い尾のキャリブレーションを実現するために,尾の標本の重み付けを推定し,知識伝達に基づくキャリブレーション手法を提案する。 提案手法は,各クラスの分布をガウス分布としてモデル化し,先頭クラスのソース統計を,末尾クラスのターゲット分布をキャリブレーションするための先行値とみなす。 我々は,主クラスから知識を適応的に伝達し,末尾クラスの目標確率密度を得る。 重要度重みは、ソース確率密度に対するターゲット確率密度の比によって推定される。 CIFAR-10-LT, MNIST-LT, CIFAR-100-LT, ImageNet-LTデータセットの大規模な実験により, 本手法の有効性が示された。

関連論文リスト

• Universality in Transfer Learning for Linear Models [18.427215139020625]
  回帰モデルと二分分類モデルの両方を対象とした線形モデルにおける伝達学習の問題点について検討する。 我々は、厳密かつ厳密な分析を行い、事前訓練されたモデルと微調整されたモデルに対する一般化誤差(回帰)と分類誤差(二分分類)を関連付ける。
  論文  参考訳（メタデータ） (2024-10-03T03:09:09Z)
• Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning [89.98353600316285]
  擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。 このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。 FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
  論文  参考訳（メタデータ） (2024-01-09T08:59:39Z)
• Class-Balancing Diffusion Models [57.38599989220613]
  クラスバランシング拡散モデル(CBDM)は、分散調整正規化器をソリューションとして訓練する。 提案手法は,CIFAR100/CIFAR100LTデータセットで生成結果をベンチマークし,下流認識タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-30T20:00:14Z)
• Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport [78.9167477093745]
  本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。 標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-09T02:32:57Z)
• Learnable Distribution Calibration for Few-Shot Class-Incremental Learning [122.2241120474278]
  FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。 本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:40:26Z)
• Learning Muti-expert Distribution Calibration for Long-tailed Video Classification [88.12433458277168]
  2レベル分布情報に基づくエンドツーエンドのマルチエキスパート分布校正手法を提案する。 この2段階の分布情報をモデル化することで、モデルはヘッドクラスとテールクラスを考慮できる。 本手法は,長編ビデオ分類作業における最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-22T09:52:34Z)
• Label-Aware Distribution Calibration for Long-tailed Classification [25.588323749920324]
  末尾クラスの分布を校正するためのラベル認識型LADC手法を提案する。 画像とテキストの長い尾のデータセットの実験は、LADCが既存の手法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2021-11-09T01:38:35Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。