論文の概要: Max-Margin Contrastive Learning

• arxiv url: http://arxiv.org/abs/2112.11450v1
• Date: Tue, 21 Dec 2021 18:56:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-22 13:23:20.010431
• Title: Max-Margin Contrastive Learning
• Title（参考訳）: max-marginコントラスト学習
• Authors: Anshul Shah and Suvrit Sra and Rama Chellappa and Anoop Cherian
• Abstract要約: 教師なし表現学習のためのMMCL(max-margin contrastive learning)を提案する。 提案手法は2次最適化問題を用いて得られたスパース支持ベクトルとして負を選択する。 我々は、標準ビジョンベンチマークデータセットに対するアプローチを検証し、教師なし表現学習におけるより良い性能を示す。
• 参考スコア（独自算出の注目度）: 120.32963353348674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard contrastive learning approaches usually require a large number of negatives for effective unsupervised learning and often exhibit slow convergence. We suspect this behavior is due to the suboptimal selection of negatives used for offering contrast to the positives. We counter this difficulty by taking inspiration from support vector machines (SVMs) to present max-margin contrastive learning (MMCL). Our approach selects negatives as the sparse support vectors obtained via a quadratic optimization problem, and contrastiveness is enforced by maximizing the decision margin. As SVM optimization can be computationally demanding, especially in an end-to-end setting, we present simplifications that alleviate the computational burden. We validate our approach on standard vision benchmark datasets, demonstrating better performance in unsupervised representation learning over state-of-the-art, while having better empirical convergence properties.
• Abstract（参考訳）: 標準コントラスト学習アプローチは通常、効果的な教師なし学習のために大量の負数を必要とし、しばしば緩やかな収束を示す。 この挙動は、正の対比を提供するのに使用される負の亜最適選択によるものであると考えられている。 サポートベクトルマシン(SVM)からインスピレーションを得て,MMCL(Max-margin contrastive learning)を提示することで,この問題に対処する。 提案手法は2次最適化問題を用いて得られたスパース支持ベクトルとして負を選別し,決定マージンを最大化することでコントラスト性を実現する。 SVMの最適化は、特にエンドツーエンドの環境では、計算負荷を軽減するための単純化を提案する。 標準ビジョンベンチマークデータセットに対する我々のアプローチを検証するとともに、経験的収束特性を向上しつつ、最先端の表現学習における教師なし学習のパフォーマンスを実証する。

関連論文リスト

• Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning [49.417414031031264]
  本稿では,自己教師型学習環境におけるフェアエンコーダの学習について検討する。 すべてのデータはラベル付けされておらず、そのごく一部だけが機密属性で注釈付けされている。
  論文  参考訳（メタデータ） (2024-06-09T08:11:12Z)
• Exploiting Pseudo Image Captions for Multimodal Summarization [26.033681302592207]
  視覚言語におけるクロスモーダルなコントラスト学習は、(一部)偽陰性の挑戦に直面している。 画像/テキストアンカーとその負のテキスト/画像間のMIをより正確に最適化する。
  論文  参考訳（メタデータ） (2023-05-09T14:47:25Z)
• Vision Language Pre-training by Contrastive Learning with Cross-Modal Similarity Regulation [44.851623239151124]
  視覚言語におけるクロスモーダルなコントラスト学習は、(一部)偽陰性の挑戦に直面している。 画像/テキストアンカーとその負のテキスト/画像間のMIをより正確に最適化する。
  論文  参考訳（メタデータ） (2023-05-08T05:53:30Z)
• Supervised Contrastive Learning as Multi-Objective Optimization for Fine-Tuning Large Pre-trained Language Models [3.759936323189417]
  教師付きコントラスト学習(SCL)は,ほとんどの分類タスクにおいて優れた性能を発揮することが示されている。 本研究では,RoBERTa言語モデルの微調整フェーズにおける多目的最適化問題としてSCL問題を定式化する。
  論文  参考訳（メタデータ） (2022-09-28T15:13:58Z)
• Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance [53.49803579981569]
  各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。 SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。 本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-24T22:16:53Z)
• MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [19.5917119072985]
  対が正かどうかを予測するために、比較学習を二項分類問題にモデル化する。 提案手法は,STL-10,CIFAR-10,CIFAR-100などのベンチマークデータセットにおいて,最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2021-11-24T17:51:29Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
  サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。 我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。 このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
  論文  参考訳（メタデータ） (2021-02-23T20:22:56Z)
• Fast Rates for Contextual Linear Optimization [52.39202699484225]
  提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。 予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
  論文  参考訳（メタデータ） (2020-11-05T18:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。