論文の概要: Breaking the Batch Barrier (B3) of Contrastive Learning via Smart Batch Mining

• arxiv url: http://arxiv.org/abs/2505.11293v1
• Date: Fri, 16 May 2025 14:25:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.266635
• Title: Breaking the Batch Barrier (B3) of Contrastive Learning via Smart Batch Mining
• Title（参考訳）: スマートバッチマイニングによるコントラスト学習におけるバッチバリアの破壊(B3)
• Authors: Raghuveer Thirukovalluru, Rui Meng, Ye Liu, Karthikeyan K, Mingyi Su, Ping Nie, Semih Yavuz, Yingbo Zhou, Wenhu Chen, Bhuwan Dhingra,
• Abstract要約: B3(Breaking the Batch Barrier)は、コントラスト学習(CL)のための高品質なバッチをキュレートする新しいバッチ構築戦略である。 私たちのアプローチは、トレーニング済みの教師埋め込みモデルを使用して、データセットのすべての例をランク付けすることから始まります。 次に、このグラフにコミュニティ検出アルゴリズムを適用して、互いに強い負となるサンプルのクラスタを識別する。 クラスタは、バッチ内の負に富んだバッチを構築するために使用される。
• 参考スコア（独自算出の注目度）: 57.352097333505476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning (CL) is a prevalent technique for training embedding models, which pulls semantically similar examples (positives) closer in the representation space while pushing dissimilar ones (negatives) further apart. A key source of negatives are 'in-batch' examples, i.e., positives from other examples in the batch. Effectiveness of such models is hence strongly influenced by the size and quality of training batches. In this work, we propose 'Breaking the Batch Barrier' (B3), a novel batch construction strategy designed to curate high-quality batches for CL. Our approach begins by using a pretrained teacher embedding model to rank all examples in the dataset, from which a sparse similarity graph is constructed. A community detection algorithm is then applied to this graph to identify clusters of examples that serve as strong negatives for one another. The clusters are then used to construct batches that are rich in in-batch negatives. Empirical results on the MMEB multimodal embedding benchmark (36 tasks) demonstrate that our method sets a new state of the art, outperforming previous best methods by +1.3 and +2.9 points at the 7B and 2B model scales, respectively. Notably, models trained with B3 surpass existing state-of-the-art results even with a batch size as small as 64, which is 4-16x smaller than that required by other methods.
• Abstract（参考訳）: コントラスト学習(CL、Contrastive Learning)は、埋め込みモデルをトレーニングするための一般的なテクニックであり、意味論的に類似した例(陽性)を表現空間に近づけ、異種(負)をさらに分離する。 負の重要なソースは、バッチ内の他の例からの正の例である'in-batch'例である。 このようなモデルの有効性は、訓練バッチのサイズと品質に強く影響される。 本研究では,CLの高品質なバッチをキュレートする新しいバッチ構築戦略であるBreaking the Batch Barrier (B3)を提案する。 我々のアプローチは、訓練済みの教師埋め込みモデルを使用してデータセットのすべての例をランク付けすることから始まり、そこからスパース類似性グラフが構築される。 次に、このグラフにコミュニティ検出アルゴリズムを適用して、互いに強い負となるサンプルのクラスタを識別する。 クラスタは、バッチ内の負に富んだバッチを構築するために使用される。 MMEBマルチモーダル埋め込みベンチマーク(36タスク)における実験結果から,提案手法は従来手法よりも+1.3ポイント,+2.9ポイントをそれぞれ7Bモデルスケールと2Bモデルスケールで上回った。 特に、B3でトレーニングされたモデルは、バッチサイズが64まで小さくても、既存の最先端の結果を上回る。

関連論文リスト

• Conan-embedding: General Text Embedding with More and Better Negative Samples [30.571206231457932]
  より高品質な負例の利用を最大化するコナン埋め込みモデルを提案する。 当社のアプローチは,現在,Massiveテキスト埋め込みベンチマークの中国リーダーボードにランクインしている,埋め込みモデルの能力を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-08-28T11:18:06Z)
• MSVQ: Self-Supervised Learning with Multiple Sample Views and Queues [10.327408694770709]
  我々は、新しいシンプルなフレームワーク、すなわちMultiple Sample Views and Queues(MSVQ)を提案する。 2つの相補的および対称的アプローチを利用して3つのソフトラベルをオンザフライで共同構築する。 学生ネットワークは、サンプル間の類似性関係を模倣するので、学生ネットワークはデータセット内の偽陰性サンプルをより柔軟に識別できる。
  論文  参考訳（メタデータ） (2023-05-09T12:05:14Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。