論文の概要: Bayesian Self-Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2301.11673v4
• Date: Wed, 31 Jan 2024 03:02:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 18:20:05.588276
• Title: Bayesian Self-Supervised Contrastive Learning
• Title（参考訳）: ベイズ自己教師付きコントラスト学習
• Authors: Bin Liu, Bang Wang, Tianrui Li
• Abstract要約: 本稿では,BCL損失と呼ばれる新たな自己監督型コントラスト損失を提案する。 鍵となる考え方は、ベイズフレームワークの下で真の正のサンプルをサンプリングするために望ましいサンプリング分布を設計することである。 実験はBCL損失の有効性と優越性を検証した。
• 参考スコア（独自算出の注目度）: 16.903874675729952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed many successful applications of contrastive learning in diverse domains, yet its self-supervised version still remains many exciting challenges. As the negative samples are drawn from unlabeled datasets, a randomly selected sample may be actually a false negative to an anchor, leading to incorrect encoder training. This paper proposes a new self-supervised contrastive loss called the BCL loss that still uses random samples from the unlabeled data while correcting the resulting bias with importance weights. The key idea is to design the desired sampling distribution for sampling hard true negative samples under the Bayesian framework. The prominent advantage lies in that the desired sampling distribution is a parametric structure, with a location parameter for debiasing false negative and concentration parameter for mining hard negative, respectively. Experiments validate the effectiveness and superiority of the BCL loss.
• Abstract（参考訳）: 近年、さまざまな領域におけるコントラスト学習の多くの成功例が見られたが、自己管理版は依然として多くのエキサイティングな課題が残っている。 負のサンプルはラベルのないデータセットから抽出されるため、ランダムに選択されたサンプルは実際にはアンカーに偽の陰性であり、誤ったエンコーダのトレーニングをもたらす。 本稿では, ラベル付きデータからのランダムなサンプルを引き続き用いながら, 重み付きバイアスを補正するBCL損失という, 新たな自己監督型コントラスト損失を提案する。 鍵となる考え方は、ベイズフレームワークの下で真の正のサンプルをサンプリングするために望ましいサンプリング分布を設計することである。 顕著な利点は、所望のサンプリング分布がパラメトリック構造であり、それぞれが偽陰性および濃度パラメータを偏り、ハード負をマイニングする位置パラメータである点である。 実験はbcl損失の有効性と優位性を検証する。

関連論文リスト

• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• CLAF: Contrastive Learning with Augmented Features for Imbalanced Semi-Supervised Learning [40.5117833362268]
  半教師付き学習とコントラスト学習は、ポピュラーなアプリケーションでより良いパフォーマンスを達成するために徐々に組み合わせられてきた。 1つの一般的な方法は、擬似ラベルを未ラベルのサンプルに割り当て、擬似ラベルのサンプルから正と負のサンプルを選択して、対照的な学習を適用することである。 比較学習における少数クラスサンプルの不足を軽減するために,CLAF(Contrastive Learning with Augmented Features)を提案する。
  論文  参考訳（メタデータ） (2023-12-15T08:27:52Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Learning with Noisy Labels over Imbalanced Subpopulations [13.477553187049462]
  ノイズラベル(LNL)による学習は,研究コミュニティから大きな注目を集めている。 ノイズラベルと不均衡なサブポピュレーションを同時に扱う新しいLNL法を提案する。 試料のクリーンな確率を推定するために, 試料相関を考慮に入れた特徴量測定手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T07:25:24Z)
• Rethinking Collaborative Metric Learning: Toward an Efficient Alternative without Negative Sampling [156.7248383178991]
  コラボレーティブ・メトリック・ラーニング(CML)パラダイムはレコメンデーション・システム(RS)分野に広く関心を集めている。 負のサンプリングが一般化誤差のバイアス付き推定に繋がることがわかった。 そこで我々は,SFCML (textitSampling-Free Collaborative Metric Learning) という名前のCMLに対して,負のサンプリングを伴わない効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-06-23T08:50:22Z)
• Exploring the Impact of Negative Samples of Contrastive Learning: A Case Study of Sentence Embedding [14.295787044482136]
  文埋め込みのための負のサンプル列を持つモーメントコントラスト学習モデル、すなわちMoCoSEを提案する。 我々は最大トレーサブル距離測定値を定義し、テキストが負のサンプルの履歴情報からどの程度の差があるかを学習する。 実験の結果,最大トレーサブル距離が一定の範囲にある場合に最もよい結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-26T08:29:25Z)
• Uncertainty-aware Pseudo-label Selection for Positive-Unlabeled Learning [10.014356492742074]
  本稿では,正の未ラベル学習環境における不均衡データセットとモデル校正の問題に取り組むことを提案する。 マイノリティクラスからのシグナルを増強することにより、擬似ラベル付けはラベル付きデータセットをラベル付きデータセットから新しいサンプルで拡張する。 PUUPLは一連の実験において、高度に不均衡な設定で大幅な性能向上をもたらす。
  論文  参考訳（メタデータ） (2022-01-31T12:55:47Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Sampler Design for Implicit Feedback Data by Noisy-label Robust Learning [32.76804332450971]
  暗黙的なフィードバックデータに対する雑音ラベルの頑健な学習に基づく適応型サンプリング器を設計する。 モデルを用いてユーザの好みを予測し、観測されたデータラベルの可能性を最大化して学習する。 次に、これらのノイズラベルのリスクを検討し、ノイズラベルのRobust BPOを提案する。
  論文  参考訳（メタデータ） (2020-06-28T05:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。