論文の概要: On the Importance of Calibration in Semi-supervised Learning
- arxiv url: http://arxiv.org/abs/2210.04783v1
- Date: Mon, 10 Oct 2022 15:41:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 16:18:40.015636
- Title: On the Importance of Calibration in Semi-supervised Learning
- Title（参考訳）: 半教師付き学習における校正の重要性について
- Authors: Charlotte Loh, Rumen Dangovski, Shivchander Sudalairaj, Seungwook Han,
Ligong Han, Leonid Karlinsky, Marin Soljacic and Akash Srivastava
- Abstract要約: State-of-the-art (SOTA) の半教師付き学習(SSL)手法はラベル付きデータとラベルなしデータの混在を活用することに成功している。
我々は、キャリブレーションを最適化し、標準ビジョンベンチマークでその有効性を実証する新しいSSLモデル群を紹介します。
- 参考スコア（独自算出の注目度）: 13.859032326378188
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State-of-the-art (SOTA) semi-supervised learning (SSL) methods have been
highly successful in leveraging a mix of labeled and unlabeled data by
combining techniques of consistency regularization and pseudo-labeling. During
pseudo-labeling, the model's predictions on unlabeled data are used for
training and thus, model calibration is important in mitigating confirmation
bias. Yet, many SOTA methods are optimized for model performance, with little
focus directed to improve model calibration. In this work, we empirically
demonstrate that model calibration is strongly correlated with model
performance and propose to improve calibration via approximate Bayesian
techniques. We introduce a family of new SSL models that optimizes for
calibration and demonstrate their effectiveness across standard vision
benchmarks of CIFAR-10, CIFAR-100 and ImageNet, giving up to 15.9% improvement
in test accuracy. Furthermore, we also demonstrate their effectiveness in
additional realistic and challenging problems, such as class-imbalanced
datasets and in photonics science.
- Abstract（参考訳）: State-of-the-art (SOTA) semi-supervised learning (SSL)法は、整合正則化と擬似ラベル付けの技法を組み合わせることでラベル付きデータとラベルなしデータの混合を利用することに成功した。
疑似ラベルリングでは、ラベルのないデータに対するモデルの予測がトレーニングに使用され、確認バイアスの軽減にはモデルキャリブレーションが重要である。
しかし、多くのSOTAメソッドはモデル性能に最適化されており、モデルのキャリブレーションの改善にはほとんど焦点を当てていない。
本研究では,モデルキャリブレーションとモデルキャリブレーションの相関が強く,近似ベイズ法を用いてキャリブレーションを改善することを提案する。
我々は、CIFAR-10、CIFAR-100、ImageNetの標準ビジョンベンチマークにおいて、キャリブレーションを最適化し、その有効性を実証する新しいSSLモデル群を紹介し、テスト精度を最大15.9%改善した。
さらに、クラス不均衡なデータセットやフォトニクス科学など、さらに現実的で困難な問題でも有効性を示す。
関連論文リスト
- Consistency Calibration: Improving Uncertainty Calibration via Consistency among Perturbed Neighbors [22.39558434131574]
モデルキャリブレーションの代替視点として一貫性の概念を導入する。
本稿では,入力間の一貫性に基づいて信頼度を調整する,一貫性(CC)と呼ばれるポストホックキャリブレーション手法を提案する。
また,ロジットレベルでの摂動は計算効率を著しく向上させることを示した。
論文 参考訳（メタデータ） (2024-10-16T06:55:02Z) - Feature Clipping for Uncertainty Calibration [24.465567005078135]
現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。
この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。
FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
論文 参考訳（メタデータ） (2024-10-16T06:44:35Z) - Fill In The Gaps: Model Calibration and Generalization with Synthetic Data [2.89287673224661]
本稿では,合成データを精度良く組み込んだキャリブレーション手法を提案する。
本稿では,予測校正誤差(ECE)をPAC学習フレームワークを用いて導出する。
平均34%の精度, 33%のECE低下を認めた。
論文 参考訳（メタデータ） (2024-10-07T23:06:42Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳（メタデータ） (2024-02-21T16:15:20Z) - On Task Performance and Model Calibration with Supervised and
Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。
しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文 参考訳（メタデータ） (2023-12-21T11:55:10Z) - On the Calibration of Large Language Models and Alignment [63.605099174744865]
信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。
構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。
我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
論文 参考訳（メタデータ） (2023-11-22T08:57:55Z) - Adaptive Certified Training: Towards Better Accuracy-Robustness
Tradeoffs [17.46692880231195]
本稿では,適応型認定ラジイを用いたトレーニングがモデルの精度と堅牢性の向上に役立つというキーインサイトに基づく,新しい認定トレーニング手法を提案する。
提案手法の有効性を,MNIST,CIFAR-10,TinyImageNetデータセットに示す。
論文 参考訳（メタデータ） (2023-07-24T18:59:46Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳（メタデータ） (2022-12-22T22:05:16Z) - On the Calibration of Pre-trained Language Models using Mixup Guided by
Area Under the Margin and Saliency [47.90235939359225]
モデルキャリブレーションをさらに改善する事前学習型言語モデルのための新しい混合戦略を提案する。
本手法は,ドメイン内およびドメイン外テストサンプルの強いベースラインと比較して,最小のキャリブレーション誤差を実現する。
論文 参考訳（メタデータ） (2022-03-14T23:45:08Z) - Combining Ensembles and Data Augmentation can Harm your Calibration [33.94335246681807]
アンサンブルとデータ拡張を組み合わせることで、モデルのキャリブレーションを損なう可能性がある。
我々は,アンサンブルやデータ拡張のみを個別に使用することよりも,精度とキャリブレーションの利得を高い精度で達成し,両世界のベストを達成できる簡単な補正を提案する。
論文 参考訳（メタデータ） (2020-10-19T21:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。