論文の概要: Sharp Learning Bounds for Contrastive Unsupervised Representation Learning

• arxiv url: http://arxiv.org/abs/2110.02501v1
• Date: Wed, 6 Oct 2021 04:29:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 03:33:45.278934
• Title: Sharp Learning Bounds for Contrastive Unsupervised Representation Learning
• Title（参考訳）: 対照的な教師なし表現学習のためのシャープ学習境界
• Authors: Han Bao, Yoshihiro Nagano, Kento Nozawa
• Abstract要約: 本研究は, 負のサンプルサイズにおいて, 厳密なインターセプトに縛られた下流の分類損失を確定する。 下流損失推定器としての対照的な損失について、我々の理論は既存の学習限界を大幅に改善する。 我々は、我々の理論が合成、視覚、言語データセットに関する実験と一致していることを検証する。
• 参考スコア（独自算出の注目度）: 4.017760528208122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive unsupervised representation learning (CURL) encourages data representation to make semantically similar pairs closer than randomly drawn negative samples, which has been successful in various domains such as vision, language, and graphs. Although recent theoretical studies have attempted to explain its success by upper bounds of a downstream classification loss by the contrastive loss, they are still not sharp enough to explain an experimental fact: larger negative samples improve the classification performance. This study establishes a downstream classification loss bound with a tight intercept in the negative sample size. By regarding the contrastive loss as a downstream loss estimator, our theory not only improves the existing learning bounds substantially but also explains why downstream classification empirically improves with larger negative samples -- because the estimation variance of the downstream loss decays with larger negative samples. We verify that our theory is consistent with experiments on synthetic, vision, and language datasets.
• Abstract（参考訳）: 対照的に、教師なし表現学習(CURL)は、視覚、言語、グラフなどの様々な領域で成功している、ランダムに描画された負のサンプルよりも意味的に類似したペアを作るようにデータ表現を奨励する。 最近の理論的研究は、逆の損失による下流の分類損失の上限によってその成功を説明しようとしたが、実験的な事実を説明できるほどシャープではない:より大きな負のサンプルは分類性能を改善した。 本研究は,負のサンプルサイズにおいて,厳密なインターセプトを伴う下流分類損失を定式化する。 下流損失推定器としての対照的な損失について、我々の理論は既存の学習限界を大幅に改善するだけでなく、下流の分類がより大きな負のサンプルで経験的に改善する理由を説明している。 私たちの理論は、合成、視覚、言語データセットの実験と一貫性があることを検証します。

関連論文リスト

• Siamese Prototypical Contrastive Learning [24.794022951873156]
  コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。 本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。 重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
  論文  参考訳（メタデータ） (2022-08-18T13:25:30Z)
• Do More Negative Samples Necessarily Hurt in Contrastive Learning? [25.234544066205547]
  提案手法は,下層の潜在クラスから正のペアをサンプリングすることによって生成する単純な理論的条件下で,表現の下流性能が負のサンプル数で低下しないことを示す。 また、フレームワークにおける最適な表現の構造的特徴も与える。
  論文  参考訳（メタデータ） (2022-05-03T21:29:59Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Understanding Hard Negatives in Noise Contrastive Estimation [21.602701327267905]
  ハードマイナスの役割を理解するための分析ツールを開発した。 テキスト検索に用いられる様々なアーキテクチャを統一するスコア関数の一般的な形式を導出する。
  論文  参考訳（メタデータ） (2021-04-13T14:42:41Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。