論文の概要: Uncertainty-aware self-training with expectation maximization basis transformation
- arxiv url: http://arxiv.org/abs/2405.01175v1
- Date: Thu, 2 May 2024 11:01:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 16:54:18.391807
- Title: Uncertainty-aware self-training with expectation maximization basis transformation
- Title（参考訳）: 期待最大化基底変換を用いた不確実性認識自己学習
- Authors: Zijia Wang, Wenbin Yang, Zhisong Liu, Zhen Jia,
- Abstract要約: モデルとデータセットの両方の不確実性情報を組み合わせるための,新たな自己学習フレームワークを提案する。
具体的には,ラベルをスムースにし,不確実性情報を包括的に推定するために期待最大化(EM)を提案する。
- 参考スコア（独自算出の注目度）: 9.7527450662978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-training is a powerful approach to deep learning. The key process is to find a pseudo-label for modeling. However, previous self-training algorithms suffer from the over-confidence issue brought by the hard labels, even some confidence-related regularizers cannot comprehensively catch the uncertainty. Therefore, we propose a new self-training framework to combine uncertainty information of both model and dataset. Specifically, we propose to use Expectation-Maximization (EM) to smooth the labels and comprehensively estimate the uncertainty information. We further design a basis extraction network to estimate the initial basis from the dataset. The obtained basis with uncertainty can be filtered based on uncertainty information. It can then be transformed into the real hard label to iteratively update the model and basis in the retraining process. Experiments on image classification and semantic segmentation show the advantages of our methods among confidence-aware self-training algorithms with 1-3 percentage improvement on different datasets.
- Abstract（参考訳）: 自己学習はディープラーニングに対する強力なアプローチです。
重要なプロセスは、モデリングのための擬似ラベルを見つけることである。
しかし、従来の自己学習アルゴリズムは、ハードラベルがもたらす過信問題に悩まされており、信頼関係の正則化器でさえ、その不確実性を包括的にキャッチできない。
そこで本研究では,モデルとデータセットの両方の不確実性情報を組み合わせるための,新たな自己学習フレームワークを提案する。
具体的には,ラベルをスムースにし,不確実性情報を包括的に推定するために期待最大化(EM)を提案する。
さらに,データセットから初期ベースを推定する基盤抽出ネットワークを設計する。
不確実性のあるベースを不確実性情報に基づいてフィルタリングすることができる。
その後、実際のハードラベルに変換して、リトレーニングプロセスでモデルとベースを反復的に更新することが可能になる。
画像分類とセマンティックセグメンテーションの実験は、異なるデータセットに対して1～3パーセント改善した自信を考慮した自己学習アルゴリズムにおいて、我々の手法の利点を示している。
関連論文リスト
- A Confidence-based Partial Label Learning Model for Crowd-Annotated
Named Entity Recognition [74.79785063365289]
名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。
我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
論文 参考訳（メタデータ） (2023-05-21T15:31:23Z) - Uncertainty-Aware Bootstrap Learning for Joint Extraction on
Distantly-Supervised Data [36.54640096189285]
ブートストラップ学習は、インスタンスの不確実性が高ければ高いほど、モデルの信頼性は基礎的な真実と矛盾する可能性が高いという直感によって動機付けられます。
まず、まずインスタンスレベルのデータ不確実性を調べて、信頼度の高い最初の例を作成します。
ブートストラップ学習において,ノイズラベルが生成するモデル間不確実性を軽減するために,正規化器としての自己認識を提案する。
論文 参考訳（メタデータ） (2023-05-05T20:06:11Z) - Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。
そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
論文 参考訳（メタデータ） (2023-04-04T03:48:56Z) - In all LikelihoodS: How to Reliably Select Pseudo-Labeled Data for
Self-Training in Semi-Supervised Learning [0.0]
自己学習は、半教師あり学習においてシンプルだが効果的な方法である。
本稿では,PSSをより堅牢にモデル化する手法を提案する。
結果は、特にロバスト性 w.r.t. モデル選択がかなりの精度の向上をもたらすことを示唆している。
論文 参考訳（メタデータ） (2023-03-02T10:00:37Z) - Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。
提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。
提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
論文 参考訳（メタデータ） (2022-12-14T17:34:11Z) - Robust Deep Learning for Autonomous Driving [0.0]
モデル信頼度を確実に推定する新しい基準を導入する:真のクラス確率(TCP)
真のクラスは本質的にテスト時に未知であるため、補助モデルを用いてデータからTCPの基準を学習し、この文脈に適応した特定の学習スキームを導入することを提案する。
本研究は, 既知モデルに基づく新たな不確実性尺度を導入することで, 誤分類と分布外サンプルを共同で検出する課題に対処する。
論文 参考訳（メタデータ） (2022-11-14T22:07:11Z) - Going Beyond One-Hot Encoding in Classification: Can Human Uncertainty
Improve Model Performance? [14.610038284393166]
ラベルの不確実性は、分散ラベルを介してトレーニングプロセスに明示的に組み込まれていることを示す。
ラベルの不確実性の取り込みは、モデルが見つからないデータをより一般化し、モデルの性能を向上させるのに役立ちます。
既存のキャリブレーション法と同様に、分布ラベルはより良いキャリブレーションの確率をもたらし、それによってより確実で信頼できる予測が得られる。
論文 参考訳（メタデータ） (2022-05-30T17:19:11Z) - Out-distribution aware Self-training in an Open World Setting [62.19882458285749]
オープンワールド環境ではラベルのないデータを活用して予測性能をさらに向上します。
注意深いサンプル選択戦略を含む,自己学習を意識したアウト・ディストリビューションを導入する。
当社の分類器は、設計外分布を意識しており、タスク関連の入力と無関係な入力を区別できます。
論文 参考訳（メタデータ） (2020-12-21T12:25:04Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳（メタデータ） (2020-06-27T08:13:58Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z) - Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。
既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。
本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-19T08:35:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。