論文の概要: Understanding Contrastive Learning Requires Incorporating Inductive Biases

• arxiv url: http://arxiv.org/abs/2202.14037v1
• Date: Mon, 28 Feb 2022 18:59:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 14:18:26.649749
• Title: Understanding Contrastive Learning Requires Incorporating Inductive Biases
• Title（参考訳）: インダクティブビアーゼを取り入れたコントラスト学習の理解
• Authors: Nikunj Saunshi, Jordan Ash, Surbhi Goel, Dipendra Misra, Cyril Zhang, Sanjeev Arora, Sham Kakade, Akshay Krishnamurthy
• Abstract要約: 下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
• 参考スコア（独自算出の注目度）: 64.56006519908213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning is a popular form of self-supervised learning that encourages augmentations (views) of the same input to have more similar representations compared to augmentations of different inputs. Recent attempts to theoretically explain the success of contrastive learning on downstream classification tasks prove guarantees depending on properties of {\em augmentations} and the value of {\em contrastive loss} of representations. We demonstrate that such analyses, that ignore {\em inductive biases} of the function class and training algorithm, cannot adequately explain the success of contrastive learning, even {\em provably} leading to vacuous guarantees in some settings. Extensive experiments on image and text domains highlight the ubiquity of this problem -- different function classes and algorithms behave very differently on downstream tasks, despite having the same augmentations and contrastive losses. Theoretical analysis is presented for the class of linear representations, where incorporating inductive biases of the function class allows contrastive learning to work with less stringent conditions compared to prior analyses.
• Abstract（参考訳）: コントラスト学習(Contrastive Learning)は、同じ入力の強化(ビュー)を奨励し、異なる入力の増強よりも類似した表現を持つ自己教師型学習の一般的な形式である。 下流分類タスクにおけるコントラスト学習の成功を理論的に説明する最近の試みは、"em拡張"の性質と表現の"emコントラスト損失"の値に依存する保証を証明している。 関数クラスと学習アルゴリズムの帰納的バイアスを無視するそのような分析は、コントラスト学習の成功を適切に説明できないこと、そして、ある設定において不確実な保証をもたらすことを実証する。 画像とテキストドメインに関する広範囲な実験は、この問題の普遍性を強調している。異なる関数クラスとアルゴリズムは、同じ拡張と対照的な損失があるにもかかわらず、下流のタスクで非常に異なる振る舞いをする。 線形表現のクラスに対して理論的解析が提示され、関数クラスの帰納的バイアスを組み込むことで、事前解析と比較して制約のない条件で対照的な学習ができる。

関連論文リスト

• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• The Power of Contrast for Feature Learning: A Theoretical Analysis [42.20116348668721]
  対照的な学習は、標準的な自己エンコーダや生成的敵ネットワークよりも優れていることを示す。 また、教師付きコントラスト学習におけるラベル付きデータの影響についても説明する。
  論文  参考訳（メタデータ） (2021-10-06T03:10:28Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification [0.0]
  2つの細粒度テキスト分類タスクにおいて、事前訓練された言語モデルの対照的な微調整を解析する。 クラス関係を比較対象関数に適応的に組み込んで、正と負の異なる評価を支援する。 ラベルを意識したContrastive Lossは,従来のコントラスト手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-12T04:19:17Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
  自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
  論文  参考訳（メタデータ） (2021-06-08T07:41:02Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。