論文の概要: FUSSL: Fuzzy Uncertain Self Supervised Learning
- arxiv url: http://arxiv.org/abs/2210.15818v1
- Date: Fri, 28 Oct 2022 01:06:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 15:40:49.180085
- Title: FUSSL: Fuzzy Uncertain Self Supervised Learning
- Title(参考訳): FUSSL:ファジィな自己指導型学習
- Authors: Salman Mohamadi, Gianfranco Doretto, Donald A. Adjeroh
- Abstract要約: 自己教師付き学習(SSL)は、アノテーションを使わずにラベルなしデータのパワーを活用するための、非常に成功した技術になっています。
本稿では,単一スーパーバイザ信号の使用によるSSLの基本的限界を初めて認識する。
SSLベースラインに対して,堅牢で汎用的な階層型学習/学習プロトコルを提案する。
- 参考スコア(独自算出の注目度): 8.31483061185317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self supervised learning (SSL) has become a very successful technique to
harness the power of unlabeled data, with no annotation effort. A number of
developed approaches are evolving with the goal of outperforming supervised
alternatives, which have been relatively successful. One main issue in SSL is
robustness of the approaches under different settings. In this paper, for the
first time, we recognize the fundamental limits of SSL coming from the use of a
single-supervisory signal. To address this limitation, we leverage the power of
uncertainty representation to devise a robust and general standard hierarchical
learning/training protocol for any SSL baseline, regardless of their
assumptions and approaches. Essentially, using the information bottleneck
principle, we decompose feature learning into a two-stage training procedure,
each with a distinct supervision signal. This double supervision approach is
captured in two key steps: 1) invariance enforcement to data augmentation, and
2) fuzzy pseudo labeling (both hard and soft annotation). This simple, yet,
effective protocol which enables cross-class/cluster feature learning, is
instantiated via an initial training of an ensemble of models through
invariance enforcement to data augmentation as first training phase, and then
assigning fuzzy labels to the original samples for the second training phase.
We consider multiple alternative scenarios with double supervision and evaluate
the effectiveness of our approach on recent baselines, covering four different
SSL paradigms, including geometrical, contrastive, non-contrastive, and
hard/soft whitening (redundancy reduction) baselines. Extensive experiments
under multiple settings show that the proposed training protocol consistently
improves the performance of the former baselines, independent of their
respective underlying principles.
- Abstract(参考訳): 自己教師付き学習(ssl)は、注釈のないデータの力を利用する手法として、アノテーションを使わずに成功している。
多くの先進的なアプローチが、比較的成功した監督された代替案を上回って進化している。
SSLの主な問題は、異なる設定下でのアプローチの堅牢性である。
本稿では,単一スーパーバイザ信号の使用によるSSLの基本的限界を初めて認識する。
この制限に対処するために、我々は不確実性表現の力を活用し、その仮定やアプローチに関わらず、SSLベースラインに対して堅牢で一般的な階層的学習/トレーニングプロトコルを考案する。
基本的に、情報ボトルネック原理を用いて、特徴学習を2段階の訓練手順に分解し、それぞれに異なる監督信号を与える。
この二重監督アプローチは、2つの重要なステップで捉えられる。
1)データ拡張に対する非分散強制、及び
2) ファジィな擬似ラベリング(硬いアノテーションと軟いアノテーションの両方)。
クロスクラス/クラスタ機能学習を可能にする、単純で効果的なプロトコルを、不変性によってモデルのアンサンブルを初期訓練して第1のトレーニングフェーズとしてデータ拡張を行い、第2のトレーニングフェーズで元のサンプルにファジィラベルを割り当てる。
我々は、最近のベースラインに対するアプローチの有効性を評価し、幾何学的、コントラスト的、非コントラスト的、ハード/ソフトなホワイトニング(冗長化)ベースラインを含む4つの異なるSSLパラダイムを網羅する。
複数の条件下での大規模な実験により、提案されたトレーニングプロトコルは、基礎となる原則とは無関係に、前者のベースラインのパフォーマンスを一貫して改善することが示された。
関連論文リスト
- BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。
本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。
そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
論文 参考訳(メタデータ) (2024-02-04T10:52:43Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2023-12-13T09:32:50Z) - Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [113.01510055986694]
我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。
まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。
第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
論文 参考訳(メタデータ) (2023-11-07T15:36:40Z) - Progressive Feature Adjustment for Semi-supervised Learning from
Pretrained Models [39.42802115580677]
半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。
近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。
本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
論文 参考訳(メタデータ) (2023-09-09T01:57:14Z) - MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。
本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。
この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
論文 参考訳(メタデータ) (2022-09-26T12:04:49Z) - Decoupled Adversarial Contrastive Learning for Self-supervised
Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。
Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-22T06:30:44Z) - Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。
既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。
我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文 参考訳(メタデータ) (2021-10-11T06:29:56Z) - Few-shot Learning via Dependency Maximization and Instance Discriminant
Analysis [21.8311401851523]
そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。
本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
論文 参考訳(メタデータ) (2021-09-07T02:19:01Z) - Improving Self-supervised Learning with Hardness-aware Dynamic
Curriculum Learning: An Application to Digital Pathology [2.2742357407157847]
自己教師付き学習(SSL)は、最近、多くの画像解析タスクに有用な汎用的な視覚表現を学習する大きな可能性を示している。
既存のSSLメソッドは、ラベル付きトレーニングインスタンスの数が少ない場合や、転送ドメイン間のドメインシフトが重要である場合、ダウンストリームタスクに一般化できない。
本稿では,カリキュラム学習のレンズを用いて,自己指導型事前学習表現の改善を試みる。
論文 参考訳(メタデータ) (2021-08-16T15:44:48Z) - On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。
これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
論文 参考訳(メタデータ) (2021-01-18T10:12:31Z) - Aggregative Self-Supervised Feature Learning from a Limited Sample [12.555160911451688]
自己教師付き学習特徴の頑健性を高めるために,様々な形態の相補性の観点から2つのアグリゲーション戦略を提案する。
限られたデータシナリオ下での2次元自然画像および3次元医用画像分類タスクの実験により,提案手法が分類精度を向上できることが確認された。
論文 参考訳(メタデータ) (2020-12-14T12:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。