論文の概要: Self-Supervision Can Be a Good Few-Shot Learner

• arxiv url: http://arxiv.org/abs/2207.09176v1
• Date: Tue, 19 Jul 2022 10:23:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 14:03:17.704305
• Title: Self-Supervision Can Be a Good Few-Shot Learner
• Title（参考訳）: セルフスーパービジョンは、少しの学習者になれる
• Authors: Yuning Lu, Liangjian Wen, Jianzhuang Liu, Yajing Liu, Xinmei Tian
• Abstract要約: 本稿では,自己監督による学習表現を効果的に非教師なしの少数ショット学習法を提案する。 具体的には、低バイアスMI推定器を用いて、インスタンスとそれらの表現の相互情報(MI)を最大化する。 自己指導型事前訓練は,適切な条件下で指導型事前訓練より優れることを示す。
• 参考スコア（独自算出の注目度）: 42.06243069679068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing few-shot learning (FSL) methods rely on training with a large labeled dataset, which prevents them from leveraging abundant unlabeled data. From an information-theoretic perspective, we propose an effective unsupervised FSL method, learning representations with self-supervision. Following the InfoMax principle, our method learns comprehensive representations by capturing the intrinsic structure of the data. Specifically, we maximize the mutual information (MI) of instances and their representations with a low-bias MI estimator to perform self-supervised pre-training. Rather than supervised pre-training focusing on the discriminable features of the seen classes, our self-supervised model has less bias toward the seen classes, resulting in better generalization for unseen classes. We explain that supervised pre-training and self-supervised pre-training are actually maximizing different MI objectives. Extensive experiments are further conducted to analyze their FSL performance with various training settings. Surprisingly, the results show that self-supervised pre-training can outperform supervised pre-training under the appropriate conditions. Compared with state-of-the-art FSL methods, our approach achieves comparable performance on widely used FSL benchmarks without any labels of the base classes.
• Abstract（参考訳）: 既存の数ショット学習(FSL)メソッドは、大量のラベル付きデータセットによるトレーニングに依存しており、豊富なラベル付きデータを活用できない。 情報理論の観点から,自己監督型学習表現を用いた効果的な教師なしFSL法を提案する。 InfoMaxの原則に従って,本手法はデータの固有構造を捉えることによって包括的表現を学習する。 具体的には、インスタンスの相互情報(MI)とそれらの表現を低バイアスMI推定器で最大化し、自己教師付き事前学習を行う。 教師付き事前学習は, 授業の識別可能な特徴に焦点をあてるのではなく, 自己教師型モデルでは, 授業に対する偏見が低くなり, 未確認クラスの一般化性が向上する。 教師付き事前学習と自己監督型事前学習は、実際には異なるMI目標を最大化している。 さらに、FSLの性能を様々なトレーニング設定で解析する大規模な実験が行われた。 その結果, 自己指導型プレトレーニングは, 適切な条件下で指導型プレトレーニングよりも優れていた。 提案手法は最先端のFSL手法と比較して,ベースクラスのラベルなしで広く使用されているFSLベンチマークにおいて同等の性能を実現する。

関連論文リスト

• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Using Self-supervised Learning Can Improve Model Fairness [10.028637666224093]
  自己教師型学習(SSL)は,大規模モデルのデファクトトレーニングパラダイムとなっている。 本研究では,事前学習と微調整が公正性に及ぼす影響について検討する。 SSLの公平性評価フレームワークを導入し、データセット要件の定義、事前トレーニング、段階的凍結による微調整、人口統計学的に条件付けられた表現類似性の評価、ドメイン固有の評価プロセスの確立の5段階を含む。
  論文  参考訳（メタデータ） (2024-06-04T14:38:30Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Self-supervised visual learning in the low-data regime: a comparative evaluation [40.27083924454058]
  自己監視学習(SSL)は、現代のディープニューラルネットワーク(DNN)のための堅牢なトレーニング手法である この研究は、現代のビジュアルSSLメソッドの分類を導入し、アプローチの主要なカテゴリに関する詳細な説明と洞察を添えた。 ドメイン固有のダウンストリームタスクでは、ドメイン内のローデータSSLプリトレーニングが大規模な事前トレーニングの一般的なアプローチより優れています。
  論文  参考訳（メタデータ） (2024-04-26T07:23:14Z)
• Evaluating Fairness in Self-supervised and Supervised Models for Sequential Data [10.626503137418636]
  自己教師型学習(SSL)は,大規模モデルのデファクトトレーニングパラダイムとなっている。 本研究では,事前学習と微調整が公正性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-01-03T09:31:43Z)
• In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene Classification [5.323049242720532]
  リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。 そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
  論文  参考訳（メタデータ） (2023-07-04T10:57:52Z)
• Improving Open-Set Semi-Supervised Learning with Self-Supervision [13.944469874692459]
  オープンセット半教師あり学習(OSSL)は、半教師あり学習における実践的なシナリオを具現化する。 我々は,自己スーパービジョンを通じて,ラベルのないすべてのデータから学習を容易にするOSSLフレームワークを提案する。 提案手法は, 評価されたベンチマーク問題の多くに対して, 最先端の結果をもたらす。
  論文  参考訳（メタデータ） (2023-01-24T16:46:37Z)
• SLIP: Self-supervision meets Language-Image Pre-training [79.53764315471543]
  自己指導型学習が視覚表現学習における言語指導の活用に役立つかどうかを考察する。 自己教師付き学習とCLIP事前学習を組み合わせたマルチタスク学習フレームワークSLIPを紹介する。 SLIPは、自己監督や言語監督よりも優れたパフォーマンスを享受しています。
  論文  参考訳（メタデータ） (2021-12-23T18:07:13Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Neural Semi-supervised Learning for Text Classification Under Large-Scale Pretraining [51.19885385587916]
  我々は、大規模LM事前学習の文脈下で、テキスト分類タスクにおける半教師あり学習の研究を行う。 我々の研究は、大規模事前学習の文脈下でのセミ教師付き学習モデルの振る舞いを理解するための最初のステップである。
  論文  参考訳（メタデータ） (2020-11-17T13:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。