論文の概要: The Power of Contrast for Feature Learning: A Theoretical Analysis
- arxiv url: http://arxiv.org/abs/2110.02473v1
- Date: Wed, 6 Oct 2021 03:10:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-07 14:41:28.043568
- Title: The Power of Contrast for Feature Learning: A Theoretical Analysis
- Title（参考訳）: 特徴学習におけるコントラストの力 : 理論的分析
- Authors: Wenlong Ji, Zhun Deng, Ryumei Nakada, James Zou, Linjun Zhang
- Abstract要約: 本研究では,従来の教師なし学習手法であるオートエンコーダを,機能回復とダウンストリームタスクの両方において性能的に優れていることを示す。
また,教師付きコントラスト学習におけるラベル付きデータの役割についても解説する。
- 参考スコア（独自算出の注目度）: 14.820189817819955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning has achieved state-of-the-art performance in various
self-supervised learning tasks and even outperforms its supervised counterpart.
Despite its empirical success, theoretical understanding of why contrastive
learning works is still limited. In this paper, (i) we provably show that
contrastive learning outperforms autoencoder, a classical unsupervised learning
method, for both feature recovery and downstream tasks; (ii) we also illustrate
the role of labeled data in supervised contrastive learning. This provides
theoretical support for recent findings that contrastive learning with labels
improves the performance of learned representations in the in-domain downstream
task, but it can harm the performance in transfer learning. We verify our
theory with numerical experiments.
- Abstract（参考訳）: コントラスト学習は、様々な自己教師付き学習タスクにおいて最先端のパフォーマンスを達成した。
経験的な成功にもかかわらず、なぜコントラスト学習が働くのかの理論的な理解はまだ限られている。
この論文では
(i)従来の教師なし学習手法であるオートエンコーダは,特徴回復と下流作業の両方において,コントラスト学習が優れていることを示す。
(ii)教師付きコントラスト学習におけるラベル付きデータの役割についても述べる。
これにより、ラベルとの対比学習は、ドメイン内ダウンストリームタスクにおける学習表現のパフォーマンスを改善するが、転送学習のパフォーマンスに悪影響を及ぼすという最近の発見に対する理論的サポートを提供する。
我々は数値実験で理論を検証する。
関連論文リスト
- On the Comparison between Multi-modal and Single-modal Contrastive Learning [50.74988548106031]
マルチモーダルとシングルモーダルのコントラスト学習の違いを理解するための理論的基盤を導入する。
マルチモーダル・シングルモーダル・コントラッシブ・ラーニングの下流タスクにおける一般化に影響を及ぼす臨界因子,すなわち信号対雑音比(SNR)を同定する。
我々の分析は、単一モードと多モードのコントラスト学習の最適化と一般化を特徴付ける統一的なフレームワークを提供する。
論文 参考訳（メタデータ） (2024-11-05T06:21:17Z) - Provable Contrastive Continual Learning [7.6989463205452555]
我々は,従来のタスクのトレーニング損失によって,モデルの性能がいかに境界づけられているかを明らかにする理論的な性能保証を確立する。
これらの保証の理論的解析から着想を得て,CILAと呼ばれる新しいコントラスト型連続学習アルゴリズムを提案する。
提案手法は,標準ベンチマークの精度を向上し,新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2024-05-29T04:48:11Z) - ArCL: Enhancing Contrastive Learning with Augmentation-Robust
Representations [30.745749133759304]
我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。
対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。
これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-02T09:26:20Z) - A Theoretical Study of Inductive Biases in Contrastive Learning [32.98250585760665]
モデルクラスから派生した帰納的バイアスの効果を取り入れた,自己指導型学習に関する最初の理論的分析を行った。
モデルが限られたキャパシティを持つ場合、コントラスト表現はモデルアーキテクチャと互換性のある特定のクラスタリング構造を復元することを示す。
論文 参考訳（メタデータ） (2022-11-27T01:53:29Z) - Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。
具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
論文 参考訳（メタデータ） (2022-05-23T17:38:30Z) - Understanding Contrastive Learning Requires Incorporating Inductive
Biases [64.56006519908213]
下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。
このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
論文 参考訳（メタデータ） (2022-02-28T18:59:20Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-28T06:14:38Z) - Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。
CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-07-17T15:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。