論文の概要: BatchSampler: Sampling Mini-Batches for Contrastive Learning in Vision, Language, and Graphs

• arxiv url: http://arxiv.org/abs/2306.03355v1
• Date: Tue, 6 Jun 2023 02:13:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 17:41:39.957581
• Title: BatchSampler: Sampling Mini-Batches for Contrastive Learning in Vision, Language, and Graphs
• Title（参考訳）: BatchSampler: 視覚、言語、グラフにおけるコントラスト学習のためのミニバッチのサンプリング
• Authors: Zhen Yang, Tinglin Huang, Ming Ding, Yuxiao Dong, Rex Ying, Yukuo Cen, Yangliao Geng, and Jie Tang
• Abstract要約: In-Batchコントラスト学習(In-Batch contrastive learning)は、意味的に類似したインスタンスを近接させる最先端の自己教師方式である。 最近の研究は、現在のミニバッチにおいて、硬い負のテキストをサンプリングすることで、性能を向上させることを目的としている。 我々は、BatchSamplerを、識別し難いインスタンス(すなわち、互いに強陰性および真陰性)のミニバッチのサンプルとして提示する。
• 参考スコア（独自算出の注目度）: 37.378865860897285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-Batch contrastive learning is a state-of-the-art self-supervised method that brings semantically-similar instances close while pushing dissimilar instances apart within a mini-batch. Its key to success is the negative sharing strategy, in which every instance serves as a negative for the others within the mini-batch. Recent studies aim to improve performance by sampling hard negatives \textit{within the current mini-batch}, whose quality is bounded by the mini-batch itself. In this work, we propose to improve contrastive learning by sampling mini-batches from the input data. We present BatchSampler\footnote{The code is available at \url{https://github.com/THUDM/BatchSampler}} to sample mini-batches of hard-to-distinguish (i.e., hard and true negatives to each other) instances. To make each mini-batch have fewer false negatives, we design the proximity graph of randomly-selected instances. To form the mini-batch, we leverage random walk with restart on the proximity graph to help sample hard-to-distinguish instances. BatchSampler is a simple and general technique that can be directly plugged into existing contrastive learning models in vision, language, and graphs. Extensive experiments on datasets of three modalities show that BatchSampler can consistently improve the performance of powerful contrastive models, as shown by significant improvements of SimCLR on ImageNet-100, SimCSE on STS (language), and GraphCL and MVGRL on graph datasets.
• Abstract（参考訳）: In-Batchコントラスト学習(In-Batch contrastive learning)は、ミニバッチ内で異種インスタンスを分割しながら、意味的に類似したインスタンスを近接させる最先端の自己教師方式である。 成功の鍵は、すべてのインスタンスがミニバッチ内の他のインスタンスに対して負の役割を果たす負の共有戦略である。 近年の研究では、その品質がミニバッチ自体に拘束されているハードネガティブをサンプリングすることで、パフォーマンスを向上させることを目指している。 本研究では,入力データからミニバッチをサンプリングすることで,コントラスト学習を改善することを提案する。 BatchSampler\footnote{The code are available at \url{https://github.com/THUDM/BatchSampler}} to sample mini-batches of hard-to-distinguish (すなわち、互いに強みと真陰性)。 各ミニバッチが偽陰性が少ないように、ランダムに選択されたインスタンスの近接グラフを設計する。 ミニバッチを形成するために、近接グラフのリスタートでランダムウォークを利用して、区別が難しいインスタンスをサンプリングする。 BatchSamplerは、視覚、言語、グラフの既存のコントラスト学習モデルに直接プラグインできる、シンプルで一般的なテクニックである。 3つのモードのデータセットに対する大規模な実験は、ImageNet-100でのSimCLR、STS(言語)でのSimCSE、グラフデータセットでのGraphCLとMVGRLの大幅な改善によって示されているように、BatchSamplerが強力なコントラストモデルのパフォーマンスを一貫して改善できることを示している。

関連論文リスト

• $\mathbb{X}$-Sample Contrastive Loss: Improving Contrastive Learning with Sample Similarity Graphs [62.565573316667276]
  サンプルが他者とどのように関連しているかを符号化する目的を開発する。 クラスやテキストのキャプション記述における類似性に基づいて視覚モデルを訓練する。 我々の目標は、特に低いデータ体制でうまく機能しているようで、CLIPが16.8%、ImageNet Realが18.1%だった。
  論文  参考訳（メタデータ） (2024-07-25T15:38:16Z)
• Mini-Batch Optimization of Contrastive Loss [13.730030395850358]
  ミニバッチ最適化は,すべての$binomNB$ミニバッチが選択された場合にのみ,フルバッチ最適化と同値であることを示す。 次に、高損失ミニバッチを利用することで、SGD収束を高速化できることを実証し、これらの高損失ミニバッチを識別するためのスペクトルクラスタリングに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-12T04:23:26Z)
• MSVQ: Self-Supervised Learning with Multiple Sample Views and Queues [10.327408694770709]
  我々は、新しいシンプルなフレームワーク、すなわちMultiple Sample Views and Queues(MSVQ)を提案する。 2つの相補的および対称的アプローチを利用して3つのソフトラベルをオンザフライで共同構築する。 学生ネットワークは、サンプル間の類似性関係を模倣するので、学生ネットワークはデータセット内の偽陰性サンプルをより柔軟に識別できる。
  論文  参考訳（メタデータ） (2023-05-09T12:05:14Z)
• Rethinking Batch Sample Relationships for Data Representation: A Batch-Graph Transformer based Approach [16.757917001089762]
  ミニバッチサンプル表現のための単純で柔軟なバッチグラフ変換器(BGFormer)を設計する。 視覚と意味の両方の観点から、画像サンプルの関係を深く捉えている。 4つの一般的なデータセットに対する大規模な実験により、提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2022-11-19T08:46:50Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Bag of Instances Aggregation Boosts Self-supervised Learning [122.61914701794296]
  教師なし学習のための簡易かつ効果的な蒸留戦略を提案する。 BINGOと呼ばれる本手法は,教師が学習した関係を学生に伝達することを目的としている。 BINGOは、小規模モデルにおける最先端の新たなパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-07-04T17:33:59Z)
• Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification [114.56752624945142]
  我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。 大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-04T06:44:15Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Exploring Effects of Random Walk Based Minibatch Selection Policy on Knowledge Graph Completion [11.484811954887432]
  KGCモデルのトレーニングのためのランダムウォークに基づく新しいミニバッチサンプリング手法を提案する。 提案手法はDB100Kデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-04-12T06:16:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。