論文の概要: Beyond One-Hot Labels: Semantic Mixing for Model Calibration

• arxiv url: http://arxiv.org/abs/2504.13548v1
• Date: Fri, 18 Apr 2025 08:26:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 16:44:52.296708
• Title: Beyond One-Hot Labels: Semantic Mixing for Model Calibration
• Title（参考訳）: ワンホットラベルを超えて - モデルキャリブレーションのためのセマンティックミキシング
• Authors: Haoyang Luo, Linwei Tao, Minjing Dong, Chang Xu,
• Abstract要約: キャリブレーションを意識したデータ拡張を導入し、多様なサンプルの合成データセットを作成し、その基盤・真実の不確実性を検証した。 本稿では,アノテート信頼度と混合率の相違に対処するために,校正再注釈を提案する。 実験により, CSMは最先端のキャリブレーション手法よりも優れたキャリブレーションを実現することが示された。
• 参考スコア（独自算出の注目度）: 22.39558434131574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model calibration seeks to ensure that models produce confidence scores that accurately reflect the true likelihood of their predictions being correct. However, existing calibration approaches are fundamentally tied to datasets of one-hot labels implicitly assuming full certainty in all the annotations. Such datasets are effective for classification but provides insufficient knowledge of uncertainty for model calibration, necessitating the curation of datasets with numerically rich ground-truth confidence values. However, due to the scarcity of uncertain visual examples, such samples are not easily available as real datasets. In this paper, we introduce calibration-aware data augmentation to create synthetic datasets of diverse samples and their ground-truth uncertainty. Specifically, we present Calibration-aware Semantic Mixing (CSM), a novel framework that generates training samples with mixed class characteristics and annotates them with distinct confidence scores via diffusion models. Based on this framework, we propose calibrated reannotation to tackle the misalignment between the annotated confidence score and the mixing ratio during the diffusion reverse process. Besides, we explore the loss functions that better fit the new data representation paradigm. Experimental results demonstrate that CSM achieves superior calibration compared to the state-of-the-art calibration approaches. Code is available at github.com/E-Galois/CSM.
• Abstract（参考訳）: モデルのキャリブレーションは、モデルが正しい予測の真の可能性を正確に反映した信頼性スコアを確実に作成することを目指している。 しかしながら、既存のキャリブレーションアプローチは、すべてのアノテーションにおいて完全な確実性を暗黙的に仮定する1ホットラベルのデータセットに基本的に結びついている。 このようなデータセットは分類に有効であるが、モデルキャリブレーションの不確実性に関する知識が不十分であり、数値的に豊富な地上信頼度を持つデータセットのキュレーションが必要である。 しかし、不確実な視覚サンプルが不足しているため、そのようなサンプルは実際のデータセットとして簡単には利用できない。 本稿では,多種多様なサンプルの合成データセット作成のためのキャリブレーション対応データ拡張手法を提案する。 具体的には,CSM(Callibration-aware Semantic Mixing)という,混合クラス特性を持つトレーニングサンプルを生成し,拡散モデルを用いて異なる信頼度スコアでアノテートする新しいフレームワークを提案する。 この枠組みに基づいて,拡散逆過程におけるアノテート信頼度と混合率との相違に対処するための校正再注釈を提案する。 さらに,新たなデータ表現パラダイムに適合する損失関数についても検討する。 実験により, CSMは最先端のキャリブレーション手法よりも優れたキャリブレーションを実現することが示された。 コードはgithub.com/E-Galois/CSMで入手できる。

関連論文リスト

• Combining Priors with Experience: Confidence Calibration Based on Binomial Process Modeling [3.4580564656984736]
  既存の信頼性校正法は主に統計手法を用いてデータから校正曲線を推定する。 推定キャリブレーション曲線を利用して真のキャリブレーション誤差(TCE)を推定する新しいキャリブレーション計量(TCE_bpm$)を設計する。 実世界およびシミュレーションデータにおいて,キャリブレーション手法と測定値の有効性を検証した。
  論文  参考訳（メタデータ） (2024-12-14T03:04:05Z)
• CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
  トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。 ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
  論文  参考訳（メタデータ） (2024-07-02T15:05:19Z)
• Few-Shot Recalibration of Language Models [23.829795148520834]
  我々は、任意のスライスからラベルのない例をいくつか取り込んだリカレーションモデルをトレーニングし、信頼度スコアをそのスライスに対してより正確なものに再マップする曲線を予測する。 我々の訓練されたモデルは、そのスライスからラベル付きデータを使わずに、任意の新しいスライスのために再調整できる。 実験により、我々の数発の再校正器は既存の校正方法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-27T06:25:40Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• Confidence Calibration for Intent Detection via Hyperspherical Space and Rebalanced Accuracy-Uncertainty Loss [17.26964140836123]
  一部のシナリオでは、ユーザは正確さだけでなく、モデルの信頼性も気にします。 本稿では,超球面空間と精度・不確かさ損失の再バランスを用いたモデルを提案する。 本モデルでは,既存の校正手法より優れ,校正基準の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-03-17T12:01:33Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• On the Role of Dataset Quality and Heterogeneity in Model Confidence [27.657631193015252]
  安全クリティカルなアプリケーションは、正確で校正された確率を出力する機械学習モデルを必要とする。 未分類のディープネットワークは、過度に信頼された予測をすることが知られている。 本研究では,データセットサイズとラベルノイズがモデルの信頼性に与える影響について検討した。
  論文  参考訳（メタデータ） (2020-02-23T05:13:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。