論文の概要: FUSSL: Fuzzy Uncertain Self Supervised Learning
- arxiv url: http://arxiv.org/abs/2210.15818v1
- Date: Fri, 28 Oct 2022 01:06:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 15:40:49.180085
- Title: FUSSL: Fuzzy Uncertain Self Supervised Learning
- Title（参考訳）: FUSSL:ファジィな自己指導型学習
- Authors: Salman Mohamadi, Gianfranco Doretto, Donald A. Adjeroh
- Abstract要約: 自己教師付き学習(SSL)は、アノテーションを使わずにラベルなしデータのパワーを活用するための、非常に成功した技術になっています。
本稿では,単一スーパーバイザ信号の使用によるSSLの基本的限界を初めて認識する。
SSLベースラインに対して,堅牢で汎用的な階層型学習/学習プロトコルを提案する。
- 参考スコア（独自算出の注目度）: 8.31483061185317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self supervised learning (SSL) has become a very successful technique to
harness the power of unlabeled data, with no annotation effort. A number of
developed approaches are evolving with the goal of outperforming supervised
alternatives, which have been relatively successful. One main issue in SSL is
robustness of the approaches under different settings. In this paper, for the
first time, we recognize the fundamental limits of SSL coming from the use of a
single-supervisory signal. To address this limitation, we leverage the power of
uncertainty representation to devise a robust and general standard hierarchical
learning/training protocol for any SSL baseline, regardless of their
assumptions and approaches. Essentially, using the information bottleneck
principle, we decompose feature learning into a two-stage training procedure,
each with a distinct supervision signal. This double supervision approach is
captured in two key steps: 1) invariance enforcement to data augmentation, and
2) fuzzy pseudo labeling (both hard and soft annotation). This simple, yet,
effective protocol which enables cross-class/cluster feature learning, is
instantiated via an initial training of an ensemble of models through
invariance enforcement to data augmentation as first training phase, and then
assigning fuzzy labels to the original samples for the second training phase.
We consider multiple alternative scenarios with double supervision and evaluate
the effectiveness of our approach on recent baselines, covering four different
SSL paradigms, including geometrical, contrastive, non-contrastive, and
hard/soft whitening (redundancy reduction) baselines. Extensive experiments
under multiple settings show that the proposed training protocol consistently
improves the performance of the former baselines, independent of their
respective underlying principles.
- Abstract（参考訳）: 自己教師付き学習(ssl)は、注釈のないデータの力を利用する手法として、アノテーションを使わずに成功している。
多くの先進的なアプローチが、比較的成功した監督された代替案を上回って進化している。
SSLの主な問題は、異なる設定下でのアプローチの堅牢性である。
本稿では,単一スーパーバイザ信号の使用によるSSLの基本的限界を初めて認識する。
この制限に対処するために、我々は不確実性表現の力を活用し、その仮定やアプローチに関わらず、SSLベースラインに対して堅牢で一般的な階層的学習/トレーニングプロトコルを考案する。
基本的に、情報ボトルネック原理を用いて、特徴学習を2段階の訓練手順に分解し、それぞれに異なる監督信号を与える。
この二重監督アプローチは、2つの重要なステップで捉えられる。
1)データ拡張に対する非分散強制、及び
2) ファジィな擬似ラベリング(硬いアノテーションと軟いアノテーションの両方)。
クロスクラス/クラスタ機能学習を可能にする、単純で効果的なプロトコルを、不変性によってモデルのアンサンブルを初期訓練して第1のトレーニングフェーズとしてデータ拡張を行い、第2のトレーニングフェーズで元のサンプルにファジィラベルを割り当てる。
我々は、最近のベースラインに対するアプローチの有効性を評価し、幾何学的、コントラスト的、非コントラスト的、ハード/ソフトなホワイトニング(冗長化)ベースラインを含む4つの異なるSSLパラダイムを網羅する。
複数の条件下での大規模な実験により、提案されたトレーニングプロトコルは、基礎となる原則とは無関係に、前者のベースラインのパフォーマンスを一貫して改善することが示された。
関連論文リスト
- Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。
予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。
提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2024-06-20T18:35:47Z) - Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。
RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。
我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
論文 参考訳（メタデータ） (2024-05-02T21:52:24Z) - BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。
本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。
そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
論文 参考訳（メタデータ） (2024-02-04T10:52:43Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳（メタデータ） (2023-12-13T09:32:50Z) - Progressive Feature Adjustment for Semi-supervised Learning from
Pretrained Models [39.42802115580677]
半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。
近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。
本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
論文 参考訳（メタデータ） (2023-09-09T01:57:14Z) - MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。
本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。
この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
論文 参考訳（メタデータ） (2022-09-26T12:04:49Z) - Decoupled Adversarial Contrastive Learning for Self-supervised
Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。
Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-22T06:30:44Z) - A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。
本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
論文 参考訳（メタデータ） (2021-10-21T13:25:52Z) - Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。
既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。
我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文 参考訳（メタデータ） (2021-10-11T06:29:56Z) - Few-shot Learning via Dependency Maximization and Instance Discriminant
Analysis [21.8311401851523]
そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。
本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
論文 参考訳（メタデータ） (2021-09-07T02:19:01Z) - Aggregative Self-Supervised Feature Learning from a Limited Sample [12.555160911451688]
自己教師付き学習特徴の頑健性を高めるために,様々な形態の相補性の観点から2つのアグリゲーション戦略を提案する。
限られたデータシナリオ下での2次元自然画像および3次元医用画像分類タスクの実験により,提案手法が分類精度を向上できることが確認された。
論文 参考訳（メタデータ） (2020-12-14T12:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。