Fugu-MT 論文翻訳(概要): CALICO: Confident Active Learning with Integrated Calibration

論文の概要: CALICO: Confident Active Learning with Integrated Calibration

arxiv url: http://arxiv.org/abs/2407.02335v1
Date: Tue, 2 Jul 2024 15:05:19 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 14:56:27.099831
Title: CALICO: Confident Active Learning with Integrated Calibration
Title（参考訳）: CALICO: 統合校正によるアクティブラーニングの信頼
Authors: Lorenzo S. Querol, Hajime Nagahara, Hideaki Hayashi,
Abstract要約: トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
参考スコア（独自算出の注目度）: 11.978551396144532
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The growing use of deep learning in safety-critical applications, such as medical imaging, has raised concerns about limited labeled data, where this demand is amplified as model complexity increases, posing hurdles for domain experts to annotate data. In response to this, active learning (AL) is used to efficiently train models with limited annotation costs. In the context of deep neural networks (DNNs), AL often uses confidence or probability outputs as a score for selecting the most informative samples. However, modern DNNs exhibit unreliable confidence outputs, making calibration essential. We propose an AL framework that self-calibrates the confidence used for sample selection during the training process, referred to as Confident Active Learning with Integrated CalibratiOn (CALICO). CALICO incorporates the joint training of a classifier and an energy-based model, instead of the standard softmax-based classifier. This approach allows for simultaneous estimation of the input data distribution and the class probabilities during training, improving calibration without needing an additional labeled dataset. Experimental results showcase improved classification performance compared to a softmax-based classifier with fewer labeled samples. Furthermore, the calibration stability of the model is observed to depend on the prior class distribution of the data.
Abstract（参考訳）: 医療画像などの安全クリティカルなアプリケーションにおけるディープラーニングの利用の増加は、限られたラベル付きデータに対する懸念を高めている。これに対応するために、アクティブラーニング(AL)は、限られたアノテーションコストでモデルを効率的に訓練するために使用される。ディープニューラルネットワーク(DNN)の文脈では、ALは最も情報性の高いサンプルを選択するためのスコアとして、信頼度や確率出力を使用することが多い。しかし、現代のDNNは信頼性の低い出力を示し、キャリブレーションが不可欠である。本稿では,統合カリブラティオン(CALICO)を用いた信頼度学習(Confident Active Learning with Integrated CalibratiOn)と呼ばれる,トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。 CALICOは、標準ソフトマックス分類器の代わりに、分類器とエネルギーモデルの共同訓練を取り入れている。このアプローチは、トレーニング中の入力データ分布とクラス確率の同時推定を可能にし、追加のラベル付きデータセットを必要とせずにキャリブレーションを改善する。実験の結果,ラベル付きサンプルが少ないソフトマックス型分類器と比較して,分類性能が向上した。さらに、モデルのキャリブレーション安定性は、データの前のクラス分布に依存することが観察される。

関連論文リスト

Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
論文参考訳（メタデータ） (2023-09-09T01:57:14Z)
Model Calibration in Dense Classification with Adaptive Label Perturbation [44.62722402349157]
既存の密接な二分分類モデルは、過信される傾向がある。本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。 ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
論文参考訳（メタデータ） (2023-07-25T14:40:11Z)
Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
論文参考訳（メタデータ） (2023-05-22T23:43:23Z)
Calibration-Aware Bayesian Learning [37.82259435084825]
本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
論文参考訳（メタデータ） (2023-05-12T14:19:15Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
Stabilizing and Improving Federated Learning with Non-IID Data and Client Dropout [15.569507252445144]
ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
論文参考訳（メタデータ） (2023-03-11T05:17:59Z)
DE-CROP: Data-efficient Certified Robustness for Pretrained Classifiers [21.741026088202126]
そこで本研究では,いくつかのトレーニングサンプルを用いて,事前学習したモデルのロバスト性を証明する新しい手法を提案する。提案手法は,各トレーニングサンプルに対応するクラス境界および補間標本を生成する。複数のベンチマークデータセットのベースラインに対する大幅な改善と、課題のあるブラックボックス設定の下でも同様のパフォーマンスを報告しています。
論文参考訳（メタデータ） (2022-10-17T10:41:18Z)
Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文参考訳（メタデータ） (2021-08-26T14:01:04Z)
ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文参考訳（メタデータ） (2021-04-11T12:14:04Z)
Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文参考訳（メタデータ） (2021-04-11T09:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。