論文の概要: Hybrid Discriminative-Generative Training via Contrastive Learning
- arxiv url: http://arxiv.org/abs/2007.09070v2
- Date: Mon, 10 Aug 2020 07:34:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 12:55:02.157715
- Title: Hybrid Discriminative-Generative Training via Contrastive Learning
- Title（参考訳）: コントラスト学習によるハイブリッド識別生成訓練
- Authors: Hao Liu, Pieter Abbeel
- Abstract要約: エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。
CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
- 参考スコア（独自算出の注目度）: 96.56164427726203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning and supervised learning have both seen significant
progress and success. However, thus far they have largely been treated as two
separate objectives, brought together only by having a shared neural network.
In this paper we show that through the perspective of hybrid
discriminative-generative training of energy-based models we can make a direct
connection between contrastive learning and supervised learning. Beyond
presenting this unified view, we show our specific choice of approximation of
the energy-based loss outperforms the existing practice in terms of
classification accuracy of WideResNet on CIFAR-10 and CIFAR-100. It also leads
to improved performance on robustness, out-of-distribution detection, and
calibration.
- Abstract（参考訳）: 対照的な学習と教師付き学習はともに大きな進歩と成功を見出している。
しかし、これまでのところ、それらは主に2つの異なる目的として扱われており、共有ニューラルネットワークのみによってまとめられている。
本稿では,エネルギーベースモデルのハイブリッドな判別・生成訓練の観点から,コントラスト学習と教師付き学習の直接的関連を示す。
CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的選択が既存手法より優れていることを示す。
また、ロバスト性、アウト・オブ・ディストリビューション検出、キャリブレーションの性能も向上する。
関連論文リスト
- Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。
提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
論文 参考訳（メタデータ） (2024-05-17T19:49:02Z) - From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。
公平な比較で最先端のパフォーマンスを達成する。
提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
論文 参考訳（メタデータ） (2023-11-16T15:47:49Z) - Hybrid Distillation: Connecting Masked Autoencoders with Contrastive
Learners [102.20090188997301]
コントラスト学習(CL)とマスクド画像モデリング(MIM)の強みを組み合わせたモデルを得る方法について検討する。
識別と多様性の両立を図るため, 単純かつ効果的なハイブリッド蒸留戦略を提案する。
実験の結果、Hybrid Distillは異なるベンチマークで優れた性能が得られることが証明された。
論文 参考訳（メタデータ） (2023-06-28T02:19:35Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳（メタデータ） (2022-05-02T04:04:23Z) - Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。
畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。
この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文 参考訳（メタデータ） (2021-08-03T19:24:25Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z) - Unsupervised Class-Incremental Learning Through Confusion [0.4604003661048266]
入ってくるデータを新しいクラスとして訓練することによるネットワークの混乱を生かした新規性検出手法を提案する。
この検出方法中にクラスアンバランスを組み込むことで、パフォーマンスが大幅に向上することがわかった。
論文 参考訳（メタデータ） (2021-04-09T15:58:43Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。