論文の概要: Don't fear the unlabelled: safe deep semi-supervised learning via simple
debiaising
- arxiv url: http://arxiv.org/abs/2203.07512v1
- Date: Mon, 14 Mar 2022 21:42:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-17 11:42:04.935467
- Title: Don't fear the unlabelled: safe deep semi-supervised learning via simple
debiaising
- Title(参考訳): unlabelledを怖がらない - 単純な偏見による深層半教師付き学習
- Authors: Hugo Schmutz, Olivier Humbert and Pierre-Alexandre Mattei
- Abstract要約: 半教師付き学習(SSL)は、モデルの性能を改善するために、非ラベルデータを活用する効果的な手段を提供する。
ほとんどのメソッドは安全でないという共通の欠点を示します。
このバイアスは、適切な検証セットなしでこれらのテクニックを信頼できないものにします。
- 参考スコア(独自算出の注目度): 12.569695703536615
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semi supervised learning (SSL) provides an effective means of leveraging
unlabelled data to improve a model's performance. Even though the domain has
received a considerable amount of attention in the past years, most methods
present the common drawback of being unsafe. By safeness we mean the quality of
not degrading a fully supervised model when including unlabelled data. Our
starting point is to notice that the estimate of the risk that most
discriminative SSL methods minimise is biased, even asymptotically. This bias
makes these techniques untrustable without a proper validation set, but we
propose a simple way of removing the bias. Our debiasing approach is
straightforward to implement, and applicable to most deep SSL methods. We
provide simple theoretical guarantees on the safeness of these modified
methods, without having to rely on the strong assumptions on the data
distribution that SSL theory usually requires. We evaluate debiased versions of
different existing SSL methods and show that debiasing can compete with classic
deep SSL techniques in various classic settings and even performs well when
traditional SSL fails.
- Abstract(参考訳): semi supervised learning(ssl)は、ラベルなしのデータを利用してモデルのパフォーマンスを改善する効果的な手段を提供する。
過去数年間、ドメインはかなりの注目を集めてきたが、ほとんどの方法は安全でないという共通の欠点を示している。
安全とは、不正なデータを含む場合、完全に教師付きモデルが劣化しない品質を意味する。
私たちの出発点は、ほとんどの差別的なSSLメソッドが最小化するリスクの見積もりが、漸近的にさえ偏っていることに気づくことです。
このバイアスは、適切な検証セットなしではこれらのテクニックを信頼できないが、バイアスを取り除く簡単な方法を提案する。
私たちのデバイアスングアプローチは実装が簡単で、ほとんどのディープSSLメソッドに適用できます。
SSL理論が要求するデータ分散に対する強い仮定に頼ることなく、これらの修正されたメソッドの安全性に関する単純な理論的保証を提供する。
既存のSSLメソッドのデバイアスバージョンを評価し,デバイアス化が従来のSSL手法と競合し,従来のSSLが失敗しても正常に動作することを示す。
関連論文リスト
- Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised
Learning [73.31528264881868]
オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。
本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。
Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
論文 参考訳(メタデータ) (2023-03-21T09:07:15Z) - Improving Open-Set Semi-Supervised Learning with Self-Supervision [13.944469874692459]
オープンセット半教師あり学習(OSSL)は、半教師あり学習における実践的なシナリオを具現化する。
我々は,自己スーパービジョンを通じて,ラベルのないすべてのデータから学習を容易にするOSSLフレームワークを提案する。
提案手法は, 評価されたベンチマーク問題の多くに対して, 最先端の結果をもたらす。
論文 参考訳(メタデータ) (2023-01-24T16:46:37Z) - Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。
本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。
我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
論文 参考訳(メタデータ) (2022-12-23T15:46:23Z) - MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。
本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。
この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
論文 参考訳(メタデータ) (2022-09-26T12:04:49Z) - Towards Realistic Semi-Supervised Learning [73.59557447798134]
オープンワールド環境でSSLに取り組み、未知のクラスと未知のクラスを同時に分類する新しい手法を提案する。
我々のアプローチは、既存の最先端の7つのデータセットよりも大幅に優れています。
論文 参考訳(メタデータ) (2022-07-05T19:04:43Z) - OpenLDN: Learning to Discover Novel Classes for Open-World
Semi-Supervised Learning [110.40285771431687]
半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。
最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。
この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
論文 参考訳(メタデータ) (2022-07-05T18:51:05Z) - Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。
既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。
我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文 参考訳(メタデータ) (2021-10-11T06:29:56Z) - On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。
これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
論文 参考訳(メタデータ) (2021-01-18T10:12:31Z) - Matching Distributions via Optimal Transport for Semi-Supervised
Learning [31.533832244923843]
SSL(Semi-Supervised Learning)アプローチは、ラベルのないデータを使用する上で、影響力のあるフレームワークである。
本稿では、離散的経験的確率測度間の類似性の指標として最適輸送(OT)手法を採用する新しい手法を提案する。
提案手法を標準データセット上で,最先端のSSLアルゴリズムを用いて評価し,SSLアルゴリズムの優位性と有効性を示す。
論文 参考訳(メタデータ) (2020-12-04T11:15:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。