論文の概要: Scaling Deep Contrastive Learning Batch Size with Almost Constant Peak
Memory Usage
- arxiv url: http://arxiv.org/abs/2101.06983v1
- Date: Mon, 18 Jan 2021 10:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 05:54:49.158159
- Title: Scaling Deep Contrastive Learning Batch Size with Almost Constant Peak
Memory Usage
- Title(参考訳): ほぼ一定ピークメモリ使用量を持つディープコントラスト学習バッチサイズのスケーリング
- Authors: Luyu Gao, Yunyi Zhang
- Abstract要約: 本稿では,コントラスト損失とエンコーダの逆伝搬を分離する再計算手法を提案する。
その結果、グラデーションは一度にバッチの1つのサブセットで計算することができ、異なるサイズのバッチに対してほぼ一定のピークGPUメモリ使用量をもたらす。
- 参考スコア(独自算出の注目度): 5.312109949216556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning has been applied successfully to learn numerical vector
representations of various forms of data, such as texts and images. Learned
encoders exhibit versatile transfer capabilities to many downstream tasks.
Representation based search is highly efficient with state-of-the-art
performance. Previous researches demonstrated that learning high-quality
representations requires a large number of negatives in contrastive loss. In
practice, the technique of in-batch negative is used, where for each example in
a batch, other batch examples' positives will be taken as its negatives,
avoiding encoding extra negatives. This, however, still conditions each
example's loss on all batch examples and requires fitting the entire large
batch into GPU memory.
This paper introduces a re-computation technique that decouples back
propagation between contrastive loss and the encoder, removing encoder backward
pass data dependency along the batch dimension. As a result, gradients can be
computed for one subset of the batch at a time, leading to an almost constant
peak GPU memory usage for batches of different sizes.
- Abstract(参考訳): コントラスト学習は、テキストや画像などの様々な形式のデータの数値ベクトル表現の学習に成功している。
学習エンコーダは、多くの下流タスクに汎用的な転送能力を示す。
表現に基づく検索は最先端のパフォーマンスで非常に効率的である。
従来の研究では、高品質な表現を学習するには、対照的な損失に多くの否定が必要であることが示されていた。
実際には、バッチ内の各例について、他のバッチサンプルの正を負とみなし、余分な負のエンコーディングを避ける、バッチ内の負のテクニックが使用される。
しかし、これは依然としてすべてのバッチの例で各例の損失を条件としており、大規模なバッチ全体をgpuメモリに適合させる必要がある。
本稿では,コントラスト損失とエンコーダ間のバック伝搬を分離する再計算手法を提案する。
その結果、グラデーションはバッチの1つのサブセットに対して一度に計算でき、異なるサイズのバッチに対するGPUメモリ使用量がほぼ一定になる。
関連論文リスト
- Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳(メタデータ) (2024-03-10T09:46:28Z) - Prompt-Based Exemplar Super-Compression and Regeneration for
Class-Incremental Learning [22.676222987218555]
超圧縮再生法であるESCORTは、その量を大幅に増加させ、模範者の多様性を高める。
生成した例と実画像の領域ギャップを最小限に抑えるために,部分圧縮と拡散に基づくデータ拡張を提案する。
論文 参考訳(メタデータ) (2023-11-30T05:59:31Z) - Rethinking Negative Pairs in Code Search [56.23857828689406]
我々は、重み項をInfoNCEに挿入する簡易で効果的なSoft-InfoNCE損失を提案する。
我々は,Soft-InfoNCEが学習したコード表現の分布を制御することと,より正確な相互情報推定の導出に与える影響を分析する。
論文 参考訳(メタデータ) (2023-10-12T06:32:42Z) - Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。
そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の
総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-07-04T13:51:29Z) - Recall@k Surrogate Loss with Large Batches and Similarity Mixup [62.67458021725227]
微分不可能な場合、評価計量の勾配降下による直接最適化は不可能である。
本研究は,リコールにおける相異なるサロゲート損失を提案する。
提案手法は,複数の画像検索ベンチマークにおいて最先端の結果を得る。
論文 参考訳(メタデータ) (2021-08-25T11:09:11Z) - Multi-Level Contrastive Learning for Few-Shot Problems [7.695214001809138]
コントラスト学習(Contrastive Learning)は、類似したサンプルを互いに近づき、多様なサンプルを互いに遠ざかることを目的とした差別的なアプローチである。
本稿では,エンコーダの異なる層におけるコントラスト的損失を適用し,複数の表現をエンコーダから学習する多段階対等学習手法を提案する。
論文 参考訳(メタデータ) (2021-07-15T21:00:02Z) - See through Gradients: Image Batch Recovery via GradInversion [103.26922860665039]
我々は、より大きなバッチからの入力イメージをResNets(50層)のような大規模ネットワークでも復元できるGradInversionを紹介した。
複雑なデータセット、ディープネットワーク、大規模なバッチサイズであっても、GradInversionを通じて、個々のイメージを高い忠実度で復元できるような、驚くほど大量の情報をエンコードする勾配を示す。
論文 参考訳(メタデータ) (2021-04-15T16:43:17Z) - Powers of layers for image-to-image translation [60.5529622990682]
本稿では,未ペア画像から画像への変換タスクに対処するシンプルなアーキテクチャを提案する。
固定重み付きイメージオートエンコーダアーキテクチャから始める。
各タスクに対して、潜在空間で動作している残留ブロックを学習し、ターゲット領域に到達するまで繰り返し呼び出される。
論文 参考訳(メタデータ) (2020-08-13T09:02:17Z) - Whitening for Self-Supervised Representation Learning [129.57407186848917]
本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。
我々の解は非対称なネットワークを必要とせず、概念的には単純である。
論文 参考訳(メタデータ) (2020-07-13T12:33:25Z) - General Purpose Text Embeddings from Pre-trained Language Models for
Scalable Inference [34.47592026375839]
我々は,共用テキストエンコーダを用いて,推論中の計算コストの一部を異なるタスクで償却可能であることを示す。
また、このようなエンコーダをトレーニングするためのアプローチを比較し、複数のタスクで事前訓練されたエンコーダが、見当たらないタスクによく当てはまることを示す。
論文 参考訳(メタデータ) (2020-04-29T16:11:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。