論文の概要: SemiReward: A General Reward Model for Semi-supervised Learning
- arxiv url: http://arxiv.org/abs/2310.03013v2
- Date: Tue, 20 Feb 2024 16:02:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 20:55:49.568881
- Title: SemiReward: A General Reward Model for Semi-supervised Learning
- Title(参考訳): SemiReward: 半教師あり学習のための一般リワードモデル
- Authors: Siyuan Li, Weiyang Jin, Zedong Wang, Fang Wu, Zicheng Liu, Cheng Tan,
Stan Z. Li
- Abstract要約: 半教師付き学習(SSL)は、擬似ラベリングによる自己学習フレームワークの様々な改善により、大きな進歩をみせた。
主な課題は、高品質な擬似ラベルを確認バイアスと区別する方法である。
本稿では、報酬スコアを予測して高品質な擬似ラベルを評価・フィルタリングするセミ教師付きリワードフレームワーク(SemiReward)を提案する。
- 参考スコア(独自算出の注目度): 58.47299780978101
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semi-supervised learning (SSL) has witnessed great progress with various
improvements in the self-training framework with pseudo labeling. The main
challenge is how to distinguish high-quality pseudo labels against the
confirmation bias. However, existing pseudo-label selection strategies are
limited to pre-defined schemes or complex hand-crafted policies specially
designed for classification, failing to achieve high-quality labels, fast
convergence, and task versatility simultaneously. To these ends, we propose a
Semi-supervised Reward framework (SemiReward) that predicts reward scores to
evaluate and filter out high-quality pseudo labels, which is pluggable to
mainstream SSL methods in wide task types and scenarios. To mitigate
confirmation bias, SemiReward is trained online in two stages with a generator
model and subsampling strategy. With classification and regression tasks on 13
standard SSL benchmarks across three modalities, extensive experiments verify
that SemiReward achieves significant performance gains and faster convergence
speeds upon Pseudo Label, FlexMatch, and Free/SoftMatch. Code and models are
available at https://github.com/Westlake-AI/SemiReward.
- Abstract(参考訳): semi-supervised learning (ssl) は疑似ラベル付き自己学習フレームワークの改善によって大きな進歩を遂げている。
主な課題は、高品質な擬似ラベルを確認バイアスと区別する方法である。
しかし、既存の擬似ラベル選択戦略は、分類のために特別に設計された事前定義されたスキームや複雑な手作りポリシーに限られており、高品質なラベル、高速収束、タスクの汎用性を同時に達成できない。
そこで本稿では,Semi-supervised Reward framework (SemiReward) を提案する。報奨スコアを予測して高品質な擬似ラベルを抽出し,タスクタイプやシナリオにおいて主流のSSLメソッドに接続可能である。
確認バイアスを軽減するため、SemiRewardはジェネレータモデルとサブサンプリング戦略で2段階のオンライントレーニングを行っている。
3つのモードにわたる13の標準SSLベンチマークの分類と回帰タスクにより、SemiRewardがPseudo Label、FlexMatch、Free/SoftMatch上で大きなパフォーマンス向上とより高速なコンバージェンス速度を達成することが検証された。
コードとモデルはhttps://github.com/westlake-ai/semirewardで入手できる。
関連論文リスト
- Roll With the Punches: Expansion and Shrinkage of Soft Label Selection
for Semi-supervised Fine-Grained Learning [42.71454054383897]
クラス遷移追跡(SoC)に基づく信頼度を考慮したクラスタリングによるソフトラベルの選択を提案する。
本手法は,SS-FGVCにおける優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-19T15:22:37Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2023-12-13T09:32:50Z) - RankMatch: A Novel Approach to Semi-Supervised Label Distribution
Learning Leveraging Inter-label Correlations [52.549807652527306]
本稿では,SSLDL (Semi-Supervised Label Distribution Learning) の革新的なアプローチである RankMatch を紹介する。
RankMatchは、ラベルのない大量のデータとともに、少数のラベル付き例を効果的に活用する。
我々はRandMatchに縛られる理論的な一般化を確立し、広範な実験を通じて既存のSSLDL法に対する性能上の優位性を実証した。
論文 参考訳(メタデータ) (2023-12-11T12:47:29Z) - Unifying Token and Span Level Supervisions for Few-Shot Sequence
Labeling [18.24907067631541]
短いショットシーケンスラベリングは、少数のラベル付きサンプルに基づいて新しいクラスを特定することを目的としている。
本稿では,数ショットのシーケンスラベリングのためのCDAP(Consistent Dual Adaptive Prototypeal)ネットワークを提案する。
本モデルでは,3つのベンチマークデータセットに対して,最先端の新たな結果が得られる。
論文 参考訳(メタデータ) (2023-07-16T04:50:52Z) - On Non-Random Missing Labels in Semi-Supervised Learning [114.62655062520425]
Semi-Supervised Learning (SSL)は基本的にラベルの問題である。
SSL に "class" を明示的に組み込んでいます。
提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
論文 参考訳(メタデータ) (2022-06-29T22:01:29Z) - An Iterative Co-Training Transductive Framework for Zero Shot Learning [24.401200814880124]
本稿では、2つの異なるベースZSLモデルと交換モジュールを含む反復的協調学習フレームワークを提案する。
各イテレーションにおいて、2つの異なるZSLモデルは、目に見えないクラスサンプルの擬似ラベルを別々に予測するために、共同訓練される。
我々のフレームワークは、2つのモデルの分類能力の潜在的な相補性をフル活用することで、ZSLの性能を徐々に向上させることができる。
論文 参考訳(メタデータ) (2022-03-30T04:08:44Z) - Learning Self-Supervised Low-Rank Network for Single-Stage Weakly and
Semi-Supervised Semantic Segmentation [119.009033745244]
本稿では,単一段階弱教師付きセマンティックセマンティックセマンティックセマンティクス(WSSS)と半教師付きセマンティクスセマンティクスセマンティクス(SSSS)のための自己教師付き低ランクネットワーク(SLRNet)を提案する。
SLRNetは、画像の異なるビューから複数の注意深いLR表現を同時に予測し、正確な擬似ラベルを学習する。
Pascal VOC 2012、COCO、L2IDデータセットの実験では、SLRNetは最先端のWSSSメソッドとSSSSメソッドの両方で、さまざまな設定で優れています。
論文 参考訳(メタデータ) (2022-03-19T09:19:55Z) - CLS: Cross Labeling Supervision for Semi-Supervised Learning [9.929229055862491]
Cross Labeling Supervision (CLS) は、典型的な擬似ラベル処理を一般化するフレームワークである。
CLSは擬似ラベルと相補ラベルの両方を作成でき、正と負の両方の学習をサポートする。
論文 参考訳(メタデータ) (2022-02-17T08:09:40Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳(メタデータ) (2021-09-01T23:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。