論文の概要: Debiased Pseudo Labeling in Self-Training

• arxiv url: http://arxiv.org/abs/2202.07136v1
• Date: Tue, 15 Feb 2022 02:14:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 14:29:34.461422
• Title: Debiased Pseudo Labeling in Self-Training
• Title（参考訳）: 自己学習におけるdebiased pseudo labeling
• Authors: Baixu Chen, Junguang Jiang, Ximei Wang, Jianmin Wang, Mingsheng Long
• Abstract要約: ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
• 参考スコア（独自算出の注目度）: 77.83549261035277
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep neural networks achieve remarkable performances on a wide range of tasks with the aid of large-scale labeled datasets. However, large-scale annotations are time-consuming and labor-exhaustive to obtain on realistic tasks. To mitigate the requirement for labeled data, self-training is widely used in both academia and industry by pseudo labeling on readily-available unlabeled data. Despite its popularity, pseudo labeling is well-believed to be unreliable and often leads to training instability. Our experimental studies further reveal that the performance of self-training is biased due to data sampling, pre-trained models, and training strategies, especially the inappropriate utilization of pseudo labels. To this end, we propose Debiased, in which the generation and utilization of pseudo labels are decoupled by two independent heads. To further improve the quality of pseudo labels, we introduce a worst-case estimation of pseudo labeling and seamlessly optimize the representations to avoid the worst-case. Extensive experiments justify that the proposed Debiased not only yields an average improvement of $14.4$\% against state-of-the-art algorithms on $11$ tasks (covering generic object recognition, fine-grained object recognition, texture classification, and scene classification) but also helps stabilize training and balance performance across classes.
• Abstract（参考訳）: ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 しかし、大規模なアノテーションは、現実的なタスクで得られるのに時間と労力を要する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに対する擬似ラベル付けにより、学術と産業の両方で自己学習が広く使われている。 その人気にもかかわらず、疑似ラベリングは信頼性が低く、しばしばトレーニング不安定に繋がる。 実験により,データサンプリング,事前学習モデル,トレーニング戦略,特に擬似ラベルの不適切な利用により,自己学習の性能が偏っていることが明らかとなった。 そこで本研究では,疑似ラベルの生成と利用を2つの独立したヘッドで分離するdebiasedを提案する。 擬似ラベルの品質をさらに向上させるために,擬似ラベルの最悪の場合推定を導入し,最悪の場合を避けるために表現をシームレスに最適化する。 広範な実験により、提案されたデバイアスは、11ドルのタスク(汎用オブジェクト認識、きめ細かいオブジェクト認識、テクスチャ分類、シーン分類など)の最先端アルゴリズムに対して平均14.4$\%の改善をもたらすだけでなく、トレーニングの安定化とクラス全体のパフォーマンスのバランスにも寄与する。

関連論文リスト

• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• Boosting Semi-Supervised Learning by bridging high and low-confidence predictions [4.18804572788063]
  Pseudo-labelingは半教師あり学習(SSL)において重要な技術である ReFixMatchと呼ばれる新しい手法を提案し、これはトレーニング中にラベルなしのデータをすべて活用することを目的としている。
  論文  参考訳（メタデータ） (2023-08-15T00:27:18Z)
• Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data [70.25049762295193]
  本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。 本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。 実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T08:31:59Z)
• Doubly Robust Self-Training [46.168395767948965]
  本稿では,新しい半教師付きアルゴリズムである二重頑健な自己学習を導入する。 通常の自己学習ベースラインよりも2倍頑健な損失の優位性を実証する。
  論文  参考訳（メタデータ） (2023-06-01T00:57:16Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Debiased Learning from Naturally Imbalanced Pseudo-Labels for Zero-Shot and Semi-Supervised Learning [27.770473405635585]
  この研究は、疑似ラベルのバイアス問題を研究する。これは、広く起こるが、しばしば先行研究によって見落とされがちな自然現象である。 半教師付き学習モデルであるFixMatchは、ラベルなしデータを計算したとしても、ラベルなし集合上のラベルを予測したとき、重く長い尾の擬似ラベルを観察する。 介入なしに、トレーニングモデルは擬似ラベルからバイアスを継承し、最終的には準最適となる。
  論文  参考訳（メタデータ） (2022-01-05T07:40:24Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)
• Semi-supervised Relation Extraction via Incremental Meta Self-Training [56.633441255756075]
  半教師付き関係抽出法は,限られたサンプルからの学習に加え,ラベルのないデータを活用することを目的としている。 既存の自己学習手法は段階的なドリフト問題に悩まされ、未ラベルデータにノイズのある擬似ラベルが組み込まれている。 本稿では,リレーショナルラベル生成ネットワークが,メタオブジェクトとしてリレーショナル分類ネットワークを成功・失敗に導くことによって,擬似ラベルの品質評価を生成するメタSREという手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T03:54:11Z)
• Rethinking the Value of Labels for Improving Class-Imbalanced Learning [20.953282288425118]
  クラス不均衡学習は、半教師ありと自己教師ありの両方の方法において有益である。 不均衡なラベルは常に役に立ちません。 この結果から,現実的な長期タスクにおける不均衡ラベルの使用を再考する必要性が浮き彫りとなった。
  論文  参考訳（メタデータ） (2020-06-13T01:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。