論文の概要: Confidence-Aware Calibration and Scoring Functions for Curriculum
Learning
- arxiv url: http://arxiv.org/abs/2301.12589v1
- Date: Sun, 29 Jan 2023 23:59:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 16:12:03.649778
- Title: Confidence-Aware Calibration and Scoring Functions for Curriculum
Learning
- Title（参考訳）: カリキュラム学習における信頼度対応型校正とスコアリング機能
- Authors: Shuang Ao, Stefan Rueger, Advaith Siddharthan
- Abstract要約: モデルのキャリブレーションと一般化を向上するために,ラベル平滑化によるモデル信頼と人間信頼の概念を統合した。
より高いモデルまたは人間の信頼度スコアは、より認識可能でより簡単なサンプルを示すため、カリキュラム学習においてサンプルをランク付けするスコア関数として使用できる。
- 参考スコア（独自算出の注目度）: 1.192436948211501
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the great success of state-of-the-art deep neural networks, several
studies have reported models to be over-confident in predictions, indicating
miscalibration. Label Smoothing has been proposed as a solution to the
over-confidence problem and works by softening hard targets during training,
typically by distributing part of the probability mass from a `one-hot' label
uniformly to all other labels. However, neither model nor human confidence in a
label are likely to be uniformly distributed in this manner, with some labels
more likely to be confused than others. In this paper we integrate notions of
model confidence and human confidence with label smoothing, respectively
\textit{Model Confidence LS} and \textit{Human Confidence LS}, to achieve
better model calibration and generalization. To enhance model generalization,
we show how our model and human confidence scores can be successfully applied
to curriculum learning, a training strategy inspired by learning of `easier to
harder' tasks. A higher model or human confidence score indicates a more
recognisable and therefore easier sample, and can therefore be used as a
scoring function to rank samples in curriculum learning. We evaluate our
proposed methods with four state-of-the-art architectures for image and text
classification task, using datasets with multi-rater label annotations by
humans. We report that integrating model or human confidence information in
label smoothing and curriculum learning improves both model performance and
model calibration. The code are available at
\url{https://github.com/AoShuang92/Confidence_Calibration_CL}.
- Abstract（参考訳）: 最先端のディープニューラルネットワークの成功にもかかわらず、いくつかの研究はモデルが予測に自信過剰であると報告し、不一致を示している。
ラベル・スムーシングは、過信問題に対する解法として提案され、訓練中にハードターゲットを軟化することで機能し、通常、確率質量の一部を「1ホット」ラベルから他の全てのラベルに均一に分配する。
しかしながら、この方法では、モデルも人的信頼も均一に分散しない傾向があり、一部のラベルは他のラベルよりも混乱する傾向にある。
本稿では,モデルキャリブレーションと一般化を達成するために,ラベルスムース化によるモデル信頼と人間信頼の概念,それぞれ \textit{Model Confidence LS} と \textit{Human Confidence LS} を統合する。
モデル一般化を促進するために,我々は「より難しい」タスクの学習に触発された学習戦略であるカリキュラム学習に,モデルと人間の信頼度スコアをうまく適用できることを示す。
より高いモデルまたは人間の信頼度スコアは、より認識可能でより簡単なサンプルを示すため、カリキュラム学習においてサンプルをランク付けするスコア関数として使用できる。
提案手法は,人間によるマルチレートラベルアノテーションを用いたデータセットを用いて,画像とテキストの分類タスクのための4つの最先端アーキテクチャを用いて評価する。
ラベル平滑化とカリキュラム学習におけるモデルや人間の信頼度情報の統合は,モデル性能とモデル校正の両方を改善する。
コードは \url{https://github.com/aoshuang92/confidence_calibration_cl} で入手できる。
関連論文リスト
- Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。
本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
論文 参考訳（メタデータ） (2024-05-23T17:17:27Z) - Boosting Semi-Supervised Learning by bridging high and low-confidence
predictions [4.18804572788063]
Pseudo-labelingは半教師あり学習(SSL)において重要な技術である
ReFixMatchと呼ばれる新しい手法を提案し、これはトレーニング中にラベルなしのデータをすべて活用することを目的としている。
論文 参考訳（メタデータ） (2023-08-15T00:27:18Z) - Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot
Text Classification Tasks [75.42002070547267]
テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。
モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T23:43:23Z) - A Confidence-based Partial Label Learning Model for Crowd-Annotated
Named Entity Recognition [74.79785063365289]
名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。
我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
論文 参考訳（メタデータ） (2023-05-21T15:31:23Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-26T03:53:25Z) - How Does Beam Search improve Span-Level Confidence Estimation in
Generative Sequence Labeling? [11.481435098152893]
本稿では,生成配列ラベリングにおけるモデル信頼度の推定に関する実証的な知見を提供する。
6つの公開データセットで検証した結果,提案手法は生成配列ラベルモデルのキャリブレーション誤差を著しく低減することがわかった。
論文 参考訳（メタデータ） (2022-12-21T05:01:01Z) - Going Beyond One-Hot Encoding in Classification: Can Human Uncertainty
Improve Model Performance? [14.610038284393166]
ラベルの不確実性は、分散ラベルを介してトレーニングプロセスに明示的に組み込まれていることを示す。
ラベルの不確実性の取り込みは、モデルが見つからないデータをより一般化し、モデルの性能を向上させるのに役立ちます。
既存のキャリブレーション法と同様に、分布ラベルはより良いキャリブレーションの確率をもたらし、それによってより確実で信頼できる予測が得られる。
論文 参考訳（メタデータ） (2022-05-30T17:19:11Z) - Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels [26.542718087103665]
SemiMatchは意味論的に類似した画像間の密接な対応を確立するための半教師付きソリューションである。
筆者らのフレームワークは,ソースと弱増強ターゲット間のモデル予測自体を用いて擬似ラベルを生成し,擬似ラベルを用いてソースと強増強ターゲット間のモデルの再学習を行う。
実験では、SemiMatchは様々なベンチマーク、特にPF-Willowにおける最先端のパフォーマンスを大きなマージンで達成している。
論文 参考訳（メタデータ） (2022-03-30T03:52:50Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳（メタデータ） (2020-06-27T08:13:58Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z) - FixMatch: Simplifying Semi-Supervised Learning with Consistency and
Confidence [93.91751021370638]
半教師付き学習(SSL)は、ラベルのないデータを活用してモデルの性能を向上させる効果的な手段を提供する。
本稿では、整合正則化と擬似ラベル付けという2つの共通SSL手法の単純な組み合わせのパワーを実証する。
筆者らのアルゴリズムであるFixMatchは、まず、弱拡張未ラベル画像上のモデルの予測を用いて擬似ラベルを生成する。
論文 参考訳（メタデータ） (2020-01-21T18:32:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。