論文の概要: Towards the Generalization of Contrastive Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2111.00743v1
• Date: Mon, 1 Nov 2021 07:39:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 12:58:30.936047
• Title: Towards the Generalization of Contrastive Self-Supervised Learning
• Title（参考訳）: コントラスト学習の一般化に向けて
• Authors: Weiran Huang and Mingyang Yi and Xuyang Zhao
• Abstract要約: 本稿では, 自己教師付き事前学習モデルが下流タスクにどのように一般化するかを理論的に説明する。 さらに,SimCLR と Barlow Twins についても検討する。
• 参考スコア（独自算出の注目度）: 11.889992921445849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, self-supervised learning has attracted great attention since it only requires unlabeled data for training. Contrastive learning is a popular approach for self-supervised learning and empirically performs well in practice. However, the theoretical understanding of its generalization ability on downstream tasks is not well studied. To this end, we present a theoretical explanation of how contrastive self-supervised pre-trained models generalize to downstream tasks. Concretely, we quantitatively show that the self-supervised model has generalization ability on downstream classification tasks if it embeds input data into a feature space with distinguishing centers of classes and closely clustered intra-class samples. With the above conclusion, we further explore SimCLR and Barlow Twins, which are two canonical contrastive self-supervised methods. We prove that the aforementioned feature space can be obtained via any of the methods, and thus explain their success on the generalization on downstream classification tasks. Finally, various experiments are also conducted to verify our theoretical findings.
• Abstract（参考訳）: 近年,学習にラベルのないデータしか必要としない自己教師型学習が注目されている。 コントラスト学習は、自己教師あり学習のための一般的なアプローチであり、実際に経験的にうまく機能する。 しかし,下流課題における一般化能力の理論的理解は十分に研究されていない。 そこで,本研究では,自己教師付き事前学習モデルがダウンストリームタスクにどのように一般化するかを理論的に説明する。 具体的には,クラス中心と密集したクラス内サンプルを区別する特徴空間に入力データを組み込む場合,自己教師付きモデルが下流分類タスクにおいて一般化能を有することを示す。 以上の結論により、SimCLR と Barlow Twins は2つの正準コントラスト自己監督法である。 上記の特徴空間はいずれの手法でも得られることが証明され、下流分類タスクの一般化におけるそれらの成功を説明する。 最後に, 理論的な知見を検証するため, 様々な実験を行った。

関連論文リスト

• Zero-Shot Generalization during Instruction Tuning: Insights from Similarity and Granularity [84.12126298229866]
  命令チューニング中のゼロショット一般化は非常に早い時期に行われることを示す。 また、「タスク」の制約を伴わずに、命令チューニング中に非常によく似た、きめ細かなトレーニングデータに遭遇することで、より一般化できることを示す。 インストラクションチューニング中のゼロショット一般化は、インスタンスレベルでのトレーニングとテストデータ間の類似性に基づく一般化の形式であることを示す。
  論文  参考訳（メタデータ） (2024-06-17T16:40:21Z)
• Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
  一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。 メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。 本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-24T09:39:45Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Towards Distribution-Agnostic Generalized Category Discovery [51.52673017664908]
  データ不均衡とオープンエンドの分布は、現実の視覚世界の本質的な特性である。 我々は,BaCon(Self-Balanced Co-Advice contrastive framework)を提案する。 BaConは、対照的な学習ブランチと擬似ラベルブランチで構成され、DA-GCDタスクを解決するためのインタラクティブな監視を提供するために協力して動作する。
  論文  参考訳（メタデータ） (2023-10-02T17:39:58Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• A Theoretical Study of Inductive Biases in Contrastive Learning [32.98250585760665]
  モデルクラスから派生した帰納的バイアスの効果を取り入れた,自己指導型学習に関する最初の理論的分析を行った。 モデルが限られたキャパシティを持つ場合、コントラスト表現はモデルアーキテクチャと互換性のある特定のクラスタリング構造を復元することを示す。
  論文  参考訳（メタデータ） (2022-11-27T01:53:29Z)
• Simple Control Baselines for Evaluating Transfer Learning [1.0499611180329802]
  我々は,伝達学習のパフォーマンスを定量化し,伝達することを目的とした評価基準を共有している。 自己教師型学習に関するいくつかの基本的な質問について,実証的研究を例に紹介する。
  論文  参考訳（メタデータ） (2022-02-07T17:26:26Z)
• Disambiguation of weak supervision with exponential convergence rates [88.99819200562784]
  教師付き学習では、データは不完全で差別的な情報で注釈付けされる。 本稿では,ある入力から潜在的な対象のセットが与えられる弱い監督の事例である部分的ラベリングに焦点を当てる。 弱い監督から完全な監督を回復する実証的曖昧化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-04T18:14:32Z)
• Bias-Awareness for Zero-Shot Learning the Seen and Unseen [47.09887661463657]
  一般化されたゼロショット学習は、目に見えないクラスと見えないクラスの両方からの入力を認識する。 一般化ゼロショット学習のための意味埋め込み空間に入力をマッピングするバイアス対応学習者を提案する。
  論文  参考訳（メタデータ） (2020-08-25T17:38:40Z)
• Functional Regularization for Representation Learning: A Unified Theoretical Perspective [27.93916012334704]
  教師なしおよび自己教師なしの学習アプローチは、下流予測タスクの表現を学習するための重要なツールとなっている。 本稿では、ラベルなしデータを用いて学習可能な関数を通して表現に正規化を付与するものとして、このようなアプローチがいくつか考えられる統一的な視点を示す。 本稿では,これらの手法のサンプル複雑性を分析するための識別的理論的枠組みを提案し,学習可能な正規化関数を実現するために(Balcan and Blum, 2010)の枠組みを一般化する。
  論文  参考訳（メタデータ） (2020-08-06T04:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。