論文の概要: Pseudo-label Learning with Calibrated Confidence Using an Energy-based Model

• arxiv url: http://arxiv.org/abs/2404.09585v1
• Date: Mon, 15 Apr 2024 08:52:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 13:00:01.978162
• Title: Pseudo-label Learning with Calibrated Confidence Using an Energy-based Model
• Title（参考訳）: エネルギーモデルを用いた校正信頼を用いた擬似ラベル学習
• Authors: Masahito Toba, Seiichi Uchida, Hideaki Hayashi,
• Abstract要約: 半教師付き学習の一種である擬似ラベル(PL)において、擬似ラベルは、分類器によって提供される信頼スコアに基づいて割り当てられる。 本研究では,エネルギーベースモデル(EBM)に基づくPLアルゴリズムを提案し,エネルギーベースPL(EBPL)と呼ぶ。
• 参考スコア（独自算出の注目度）: 8.186080382247402
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In pseudo-labeling (PL), which is a type of semi-supervised learning, pseudo-labels are assigned based on the confidence scores provided by the classifier; therefore, accurate confidence is important for successful PL. In this study, we propose a PL algorithm based on an energy-based model (EBM), which is referred to as the energy-based PL (EBPL). In EBPL, a neural network-based classifier and an EBM are jointly trained by sharing their feature extraction parts. This approach enables the model to learn both the class decision boundary and input data distribution, enhancing confidence calibration during network training. The experimental results demonstrate that EBPL outperforms the existing PL method in semi-supervised image classification tasks, with superior confidence calibration error and recognition accuracy.
• Abstract（参考訳）: 半教師付き学習の一種である擬似ラベル(PL)において、擬似ラベルは分類器によって提供される信頼スコアに基づいて割り当てられる。 本研究では,エネルギーベースモデル(EBM)に基づくPLアルゴリズムを提案し,エネルギーベースPL(EBPL)と呼ぶ。 EBPLでは、ニューラルネットワークベースの分類器とESMは、特徴抽出部分を共有することによって共同で訓練される。 このアプローチにより、クラス決定境界と入力データ分布の両方を学習し、ネットワークトレーニング中の信頼性校正を強化することができる。 実験の結果、EBPLは半教師付き画像分類タスクにおいて既存のPL法よりも優れており、信頼性校正誤差と認識精度が優れていることがわかった。

関連論文リスト

• CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
  トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。 ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
  論文  参考訳（メタデータ） (2024-07-02T15:05:19Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• A Confidence-based Partial Label Learning Model for Crowd-Annotated Named Entity Recognition [74.79785063365289]
  名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。 我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
  論文  参考訳（メタデータ） (2023-05-21T15:31:23Z)
• Pre-training Language Model as a Multi-perspective Course Learner [103.17674402415582]
  本研究では,サンプル効率のよい事前学習のためのマルチパースペクティブ・コース・ラーニング(MCL)手法を提案する。 本研究では,3つの自己超越コースが,「綱引き」力学の固有の欠陥を軽減するように設計されている。 本手法は,GLUEおよびSQuAD 2.0ベンチマークにおいて,ELECTRAの平均性能をそれぞれ2.8%,絶対点を3.2%向上させる。
  論文  参考訳（メタデータ） (2023-05-06T09:02:10Z)
• InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised Learning [34.062061310242385]
  不均衡半教師付き学習(SSL)のための疑似ラベルの新しい視点を提案する。 未表示のサンプルが「流通中」か「流通外」かを測定する。 実験により、我々のエネルギーベース擬似ラベル法である textbfInPL が、不均衡なSSLベンチマークにおいて信頼性ベースの手法よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-13T16:45:41Z)
• Stochastic Deep Networks with Linear Competing Units for Model-Agnostic Meta-Learning [4.97235247328373]
  本研究は,LWTA(Local winner-takes-all)アクティベーションを伴うディープネットワークを考慮したメタラーニング(ML)に対処する。 このタイプのネットワークユニットは、ユニットが1つのユニットだけがゼロでない出力を生成するブロックに編成されるため、各モデルレイヤからスパース表現が生成される。 提案手法は,数ショット画像の分類と回帰実験における最先端の予測精度と,アクティブな学習環境における予測誤差の低減を実現する。
  論文  参考訳（メタデータ） (2022-08-02T16:19:54Z)
• Effective Out-of-Distribution Detection in Classifier Based on PEDCC-Loss [5.614122064282257]
  PEDCC-Loss を用いたアウト・オブ・ディストリビューション例の検出に有効なアルゴリズムを提案する。 PEDCC(Predefined Evenly-Distribution Class Centroids)分類器によって出力される信頼スコアの性質を数学的に解析する。 次に,より効果的なスコアリング機能を構築し,分布内(ID)と分布外(out-of-distriion)を区別する。
  論文  参考訳（メタデータ） (2022-04-10T11:47:29Z)
• Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
  本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。 MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。 実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
  論文  参考訳（メタデータ） (2021-06-16T16:24:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。