論文の概要: Locality-Sensitive Hashing for Efficient Hard Negative Sampling in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2505.17844v1
• Date: Fri, 23 May 2025 12:58:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.083413
• Title: Locality-Sensitive Hashing for Efficient Hard Negative Sampling in Contrastive Learning
• Title（参考訳）: コントラスト学習における効果的なハード陰性サンプリングのための局所性感性ハッシュ
• Authors: Fabian Deuser, Philipp Hausenblas, Hannah Schieber, Daniel Roth, Martin Werner, Norbert Oswald,
• Abstract要約: 本稿では, 実数値特徴ベクトルを2進表現に量子化するGPUフレンドリーな局所性感性ハッシュ法を提案する。 当社のアプローチは,既存の強硬な負の採掘戦略よりもはるかに少ない性能で,同等あるいは優れた性能を実現している。
• 参考スコア（独自算出の注目度）: 2.0980653656612835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning is a representational learning paradigm in which a neural network maps data elements to feature vectors. It improves the feature space by forming lots with an anchor and examples that are either positive or negative based on class similarity. Hard negative examples, which are close to the anchor in the feature space but from a different class, improve learning performance. Finding such examples of high quality efficiently in large, high-dimensional datasets is computationally challenging. In this paper, we propose a GPU-friendly Locality-Sensitive Hashing (LSH) scheme that quantizes real-valued feature vectors into binary representations for approximate nearest neighbor search. We investigate its theoretical properties and evaluate it on several datasets from textual and visual domain. Our approach achieves comparable or better performance while requiring significantly less computation than existing hard negative mining strategies.
• Abstract（参考訳）: コントラスト学習(Contrastive Learning)は、ニューラルネットワークがデータ要素を特徴ベクトルにマッピングする表現学習パラダイムである。 アンカーとクラス類似性に基づいて正または負のいずれかの例でロットを形成することにより、特徴空間を改善する。 機能領域のアンカーに近いが、異なるクラスからの厳しいネガティブな例は、学習のパフォーマンスを改善する。 大規模で高次元のデータセットにおいて、そのような高品質の例を効率的に見つけることは、計算的に困難である。 本稿では、実数値特徴ベクトルを近似した近傍探索のためのバイナリ表現に量子化するGPUフレンドリーな局所性感性ハッシュ(LSH)方式を提案する。 本稿では,その理論的特性を考察し,テキスト領域と視覚領域の複数のデータセット上で評価する。 提案手法は,既存の強負のマイニング戦略よりも計算量が少なく,同等あるいは優れた性能を実現する。

関連論文リスト

• Rethinking Negative Pairs in Code Search [56.23857828689406]
  我々は、重み項をInfoNCEに挿入する簡易で効果的なSoft-InfoNCE損失を提案する。 我々は,Soft-InfoNCEが学習したコード表現の分布を制御することと,より正確な相互情報推定の導出に与える影響を分析する。
  論文  参考訳（メタデータ） (2023-10-12T06:32:42Z)
• TrueDeep: A systematic approach of crack detection with less data [0.0]
  ドメイン知識をディープラーニングアーキテクチャと組み合わせることで、少ないデータで同様のパフォーマンスを実現することができることを示す。 我々のアルゴリズムは、全データの23%で開発され、テストデータ上でも同様の性能を持ち、複数の盲点データセット上では大幅に性能が向上した。
  論文  参考訳（メタデータ） (2023-05-30T14:51:58Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [12.365801596593936]
  我々は、事前学習タスクを二項分類問題としてモデル化し、暗黙的なコントラスト効果を誘導する。 既存の手法とは異なり、提案した損失関数は正対と負対の相互情報を最適化する。 提案手法は,ベンチマークデータセット上でのSOTA自己教師型コントラストフレームワークよりも優れている。
  論文  参考訳（メタデータ） (2021-11-24T17:51:29Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Projected Hamming Dissimilarity for Bit-Level Importance Coding in Collaborative Filtering [21.563733343861713]
  各次元の2重み付けによるハミング空間における2つの物体間の相似性を測定する新しい方法を示す。 本稿では,このハミング差分法に最適化されたハッシュコードを学習するための変分ハッシュモデルを提案する。 結果として得られるハッシュコードはNDCGで+7%、MRRで+14%の有効性向上につながります。
  論文  参考訳（メタデータ） (2021-03-26T13:22:31Z)
• Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
  我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。 空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。 提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-06T12:17:01Z)
• CIMON: Towards High-quality Hash Codes [63.37321228830102]
  我々はtextbfComprehensive stextbfImilarity textbfMining と ctextbfOnsistency leartextbfNing (CIMON) という新しい手法を提案する。 まず、グローバルな洗練と類似度統計分布を用いて、信頼性とスムーズなガイダンスを得る。第二に、意味的整合性学習とコントラスト的整合性学習の両方を導入して、乱不変と差別的ハッシュコードの両方を導出する。
  論文  参考訳（メタデータ） (2020-10-15T14:47:14Z)
• Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval [20.62375162628628]
  本稿では, コーパスの近似ニアネストニアバー(ANN)指数から負を構成する学習機構である, 近似近傍の負相対性推定(ANCE)を提案する。 実験では,BERT-Siamese DRモデルを改良し,厳密でスパースな検索ベースラインを上回ります。 これは、ANCE学習表現空間におけるドット生成を用いたスパース検索とBERTの精度とほぼ一致し、約100倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2020-07-01T23:15:56Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。