論文の概要: Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance

• arxiv url: http://arxiv.org/abs/2202.12387v1
• Date: Thu, 24 Feb 2022 22:16:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-28 14:16:28.954733
• Title: Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance
• Title（参考訳）: グローバルコントラスト学習のための確率論的最適化:小さなバッチはパフォーマンスを損なわない
• Authors: Zhuoning Yuan, Yuexin Wu, Zihao Qiu, Xianzhi Du, Lijun Zhang, Denny Zhou, Tianbao Yang
• Abstract要約: 各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。 SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。 本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 53.49803579981569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study contrastive learning from an optimization perspective, aiming to analyze and address a fundamental issue of existing contrastive learning methods that either rely on a large batch size or a large dictionary. We consider a global objective for contrastive learning, which contrasts each positive pair with all negative pairs for an anchor point. From the optimization perspective, we explain why existing methods such as SimCLR requires a large batch size in order to achieve a satisfactory result. In order to remove such requirement, we propose a memory-efficient Stochastic Optimization algorithm for solving the Global objective of Contrastive Learning of Representations, named SogCLR. We show that its optimization error is negligible under a reasonable condition after a sufficient number of iterations or is diminishing for a slightly different global contrastive objective. Empirically, we demonstrate that on ImageNet with a batch size 256, SogCLR achieves a performance of 69.4% for top-1 linear evaluation accuracy using ResNet-50, which is on par with SimCLR (69.3%) with a large batch size 8,192. We also attempt to show that the proposed optimization technique is generic and can be applied to solving other contrastive losses, e.g., two-way contrastive losses for bimodal contrastive learning.
• Abstract（参考訳）: 本稿では,バッチサイズや辞書サイズに依存する既存のコントラスト学習手法の根本的な問題を分析し,対処することを目的とした,最適化の観点からのコントラスト学習について検討する。 各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。 最適化の観点からは、SimCLRのような既存のメソッドが良好な結果を得るために大きなバッチサイズを必要とする理由を説明します。 このような要求を解消するために,SogCLR という表現のコントラスト学習のグローバルな目的を解決するためのメモリ効率の高い確率最適化アルゴリズムを提案する。 その最適化誤差は、十分な回数の反復の後に合理的な条件下では無視可能であるか、あるいはわずかに異なるグローバルコントラストの目的に対して減少していることを示す。 実験により,sogclrはバッチサイズ256のimagenetにおいて,最大バッチサイズ8,192のsimclr (69.3%) と同等のresnet-50を用いたtop-1線形評価精度で69.4%の性能を実現する。 また,提案手法が汎用的であり,双様コントラスト学習における2方向コントラスト損失など,他のコントラスト損失の解法にも適用可能であることを示す。

関連論文リスト

• Jacobian Descent for Multi-Objective Optimization [0.6138671548064355]
  勾配降下は単目的最適化に限られる。 Jacobian descent (JD) はベクトル値の目的関数のヤコビ行列を用いてパラメータを反復的に更新する。
  論文  参考訳（メタデータ） (2024-06-23T22:06:25Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Mini-Batch Optimization of Contrastive Loss [13.730030395850358]
  ミニバッチ最適化は,すべての$binomNB$ミニバッチが選択された場合にのみ,フルバッチ最適化と同値であることを示す。 次に、高損失ミニバッチを利用することで、SGD収束を高速化できることを実証し、これらの高損失ミニバッチを識別するためのスペクトルクラスタリングに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-12T04:23:26Z)
• Supervised Contrastive Learning as Multi-Objective Optimization for Fine-Tuning Large Pre-trained Language Models [3.759936323189417]
  教師付きコントラスト学習(SCL)は,ほとんどの分類タスクにおいて優れた性能を発揮することが示されている。 本研究では,RoBERTa言語モデルの微調整フェーズにおける多目的最適化問題としてSCL問題を定式化する。
  論文  参考訳（メタデータ） (2022-09-28T15:13:58Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Max-Margin Contrastive Learning [120.32963353348674]
  教師なし表現学習のためのMMCL(max-margin contrastive learning)を提案する。 提案手法は2次最適化問題を用いて得られたスパース支持ベクトルとして負を選択する。 我々は、標準ビジョンベンチマークデータセットに対するアプローチを検証し、教師なし表現学習におけるより良い性能を示す。
  論文  参考訳（メタデータ） (2021-12-21T18:56:54Z)
• MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [19.5917119072985]
  対が正かどうかを予測するために、比較学習を二項分類問題にモデル化する。 提案手法は,STL-10,CIFAR-10,CIFAR-100などのベンチマークデータセットにおいて,最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2021-11-24T17:51:29Z)
• Decoupled Contrastive Learning [23.25775900388382]
  我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。 NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。 われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
  論文  参考訳（メタデータ） (2021-10-13T16:38:43Z)
• EqCo: Equivalent Rules for Self-supervised Contrastive Learning [81.45848885547754]
  本稿では,InfoNCEをベースとしたコントラスト学習フレームワークにおいて,負のサンプル数と無関係に自己教師型学習を実現する手法を提案する。 InfoMaxの原理に着想を得て、負のペアの数に応じて、対照的な損失のマージン項を適応的にスケールする必要があることを指摘する。
  論文  参考訳（メタデータ） (2020-10-05T11:39:04Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。