論文の概要: About contrastive unsupervised representation learning for classification and its convergence

• arxiv url: http://arxiv.org/abs/2012.01064v1
• Date: Wed, 2 Dec 2020 10:08:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 04:14:44.874965
• Title: About contrastive unsupervised representation learning for classification and its convergence
• Title（参考訳）: 分類のための対照的教師なし表現学習とその収束について
• Authors: Ibrahim Merad and Yiyang Yu and Emmanuel Bacry and St\'ephane Ga\"iffas
• Abstract要約: 我々は、その性能を保証するための対照的な学習に関する理論的枠組みを構築している。 複数の負のサンプルとマルチウェイ分類のためのトレーニングにこれらの結果の拡張を提供する。 また、過度にパラメータ化されたディープニューラルエンコーダの勾配降下によるコントラストトレーニング誤差の最小化のための収束保証も提供する。
• 参考スコア（独自算出の注目度）: 2.6782615615913343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive representation learning has been recently proved to be very efficient for self-supervised training. These methods have been successfully used to train encoders which perform comparably to supervised training on downstream classification tasks. A few works have started to build a theoretical framework around contrastive learning in which guarantees for its performance can be proven. We provide extensions of these results to training with multiple negative samples and for multiway classification. Furthermore, we provide convergence guarantees for the minimization of the contrastive training error with gradient descent of an overparametrized deep neural encoder, and provide some numerical experiments that complement our theoretical findings
• Abstract（参考訳）: コントラスト表現学習は、近年、自己監督訓練に非常に効率的であることが証明されている。 これらの手法は、下流分類タスクの教師付きトレーニングと互換性のあるエンコーダのトレーニングに成功している。 いくつかの研究が対照的な学習に関する理論的枠組みを構築し始めており、その性能を保証することができる。 複数の負のサンプルとマルチウェイ分類のためのトレーニングにこれらの結果の拡張を提供する。 さらに,超パラメータ深層ニューラルネットワークエンコーダの勾配降下を伴うコントラストトレーニング誤差の最小化のための収束保証を提供し,理論的な知見を補完する数値実験を行った。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Unsupervised Class-Incremental Learning Through Confusion [0.4604003661048266]
  入ってくるデータを新しいクラスとして訓練することによるネットワークの混乱を生かした新規性検出手法を提案する。 この検出方法中にクラスアンバランスを組み込むことで、パフォーマンスが大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-09T15:58:43Z)
• Accumulated Decoupled Learning: Mitigating Gradient Staleness in Inter-Layer Model Parallelization [16.02377434191239]
  本稿では, 定常勾配効果を緩和するために, 勾配累積法を取り入れた累積非結合学習(ADL)を提案する。 提案手法は, 非同期性にもかかわらず, 臨界点, すなわち勾配が0に収束することを示す。 ADLは分類タスクにおいていくつかの最先端技術よりも優れており、比較手法の中では最速である。
  論文  参考訳（メタデータ） (2020-12-03T11:52:55Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Convergence of End-to-End Training in Deep Unsupervised Contrastive Learning [3.8073142980733]
  教師なしのコントラスト学習は、ラベルのないデータから表現を学習するための強力な方法であることが証明されている。 この研究は、これらの教師なし手法の実践的成功に関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2020-02-17T14:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。