論文の概要: Tail Batch Sampling: Approximating Global Contrastive Losses as Optimization over Batch Assignments

• arxiv url: http://arxiv.org/abs/2210.12874v1
• Date: Sun, 23 Oct 2022 22:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 13:00:25.231949
• Title: Tail Batch Sampling: Approximating Global Contrastive Losses as Optimization over Batch Assignments
• Title（参考訳）: tail batch sampling: バッチ割り当てに対する最適化としてのグローバルコントラスト損失の近似
• Authors: Vin Sachidananda, Ziyi Yang, Chenguang Zhu
• Abstract要約: コントラスト学習は、最近、幅広いタスクで最先端のパフォーマンスを達成した。 多くの対照的な学習アプローチでは、トレーニング中にバッチをより情報的にするために、マイニングされたハードネガティブを使用します。 本研究では、教師付きコントラスト学習における強陰性マイニングの代替として、Tail Batch Smplingを提案する。
• 参考スコア（独自算出の注目度）: 28.72288652451881
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Contrastive Learning has recently achieved state-of-the-art performance in a wide range of tasks. Many contrastive learning approaches use mined hard negatives to make batches more informative during training but these approaches are inefficient as they increase epoch length proportional to the number of mined negatives and require frequent updates of nearest neighbor indices or mining from recent batches. In this work, we provide an alternative to hard negative mining in supervised contrastive learning, Tail Batch Sampling (TBS), an efficient approximation to the batch assignment problem that upper bounds the gap between the global and training losses, $\mathcal{L}^{Global} - \mathcal{L}^{Train}$. TBS \textbf{improves state-of-the-art performance} in sentence embedding (+0.37 Spearman) and code-search tasks (+2.2\% MRR), is easy to implement - requiring only a few additional lines of code, does not maintain external data structures such as nearest neighbor indices, is more computationally efficient when compared to the most minimal hard negative mining approaches, and makes no changes to the model being trained.
• Abstract（参考訳）: コントラスト学習は最近、幅広いタスクで最先端のパフォーマンスを達成している。 多くの対照的な学習アプローチは、訓練中にバッチをより有益にするためにマイニングハードネガティブスを使用するが、これらのアプローチは、マイニングされたネガティブ数に比例するエポック長を増加させ、近辺のインデックスや最近のバッチからのマイニングの頻繁な更新を必要とするため、非効率である。 本研究では,教師付きコントラスト学習における強負のマイニングの代替としてTail Batch Smpling (TBS)を提案する。これは,大域的損失とトレーニング損失のギャップを上限とするバッチ割り当て問題に対する効率的な近似であり,$\mathcal{L}^{Global}\mathcal{L}^{Train}$である。 TBS \textbf{improves state-of-the-art performance} in sentence embedding (+0.37 Spearman) and code-search task (+2.2\% MRR) は実装が容易で、数行のコードしか必要とせず、近隣のインデックスのような外部データ構造を維持せず、最も最小限の硬い負のマイニング手法と比較して計算効率が良く、訓練対象のモデルに変更を加えることはない。

関連論文リスト

• BatchGFN: Generative Flow Networks for Batch Active Learning [80.73649229919454]
  BatchGFNは、生成フローネットワークを使用してバッチ報酬に比例したデータポイントのセットをサンプリングする、プールベースのアクティブラーニングのための新しいアプローチである。 提案手法は,おもちゃの回帰問題において,1点当たり1回の前方通過で推定時間に近距離最適効用バッチをサンプリングすることを可能にした。
  論文  参考訳（メタデータ） (2023-06-26T20:41:36Z)
• Neighborhood-based Hard Negative Mining for Sequential Recommendation [14.66576013324401]
  ネガティブサンプリングは、シーケンシャルレコメンデーションモデルのトレーニングにおいて重要な役割を果たす。 本稿では, ユーザ行動に隠された構造情報を負のマイニングに活用するために, 近傍オーバーラップ(GNNO)に基づくグラフベースの負のサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-06-12T12:28:54Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks [3.2895195535353308]
  数ショットアーキテクチャのための新しい最大ログ類似度指標を提案する。 提案手法は,従来の類似度指標よりも優れた性能を実現することを示す。 また,提案アルゴリズムは,評価データが不均衡である場合に,最先端のトランスダクティブな数ショット性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-11-26T21:31:00Z)
• LoOp: Looking for Optimal Hard Negative Embeddings for Deep Metric Learning [17.571160136568455]
  埋め込み空間における最適強陰性(LoOp)を求める新しい手法を提案する。 マイニング法とは違って, 最適硬質負を計算するために, 組込みの組込み間の空間全体を考慮した。
  論文  参考訳（メタデータ） (2021-08-20T19:21:33Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification [114.56752624945142]
  我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。 大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-04T06:44:15Z)
• Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks [3.075766050800645]
  隣のノードからデータを集約する必要があるため、トレーニンググラフ畳み込みネットワーク(GCN)は高価です。 先行研究では,少数の隣人を対象に,収集結果を推定する様々な近傍サンプリング手法が提案されている。 本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-19T16:12:44Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad Samples [67.11669996924671]
  GAN(Generative Adversarial Network)トレーニングアルゴリズムに,簡単な修正(一行のコード)を導入する。 ジェネレータパラメータを更新するとき、批判者が最も現実的に評価するバッチの要素から勾配のコントリビューションをゼロにします。 このトップk更新の手順が一般的に適用可能な改善であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T19:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。