論文の概要: Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination

• arxiv url: http://arxiv.org/abs/2308.04380v1
• Date: Tue, 8 Aug 2023 16:31:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 12:08:28.791064
• Title: Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination
• Title（参考訳）: あなたの否定は真否定ではないかもしれない:偽陰性除去による画像テキストマッチングの促進
• Authors: Haoxuan Li, Yi Bin, Junrong Liao, Yang Yang, Heng Tao Shen
• Abstract要約: 提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
• 参考スコア（独自算出の注目度）: 62.18768931714238
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing image-text matching methods adopt triplet loss as the optimization objective, and choosing a proper negative sample for the triplet of <anchor, positive, negative> is important for effectively training the model, e.g., hard negatives make the model learn efficiently and effectively. However, we observe that existing methods mainly employ the most similar samples as hard negatives, which may not be true negatives. In other words, the samples with high similarity but not paired with the anchor may reserve positive semantic associations, and we call them false negatives. Repelling these false negatives in triplet loss would mislead the semantic representation learning and result in inferior retrieval performance. In this paper, we propose a novel False Negative Elimination (FNE) strategy to select negatives via sampling, which could alleviate the problem introduced by false negatives. Specifically, we first construct the distributions of positive and negative samples separately via their similarities with the anchor, based on the features extracted from image and text encoders. Then we calculate the false negative probability of a given sample based on its similarity with the anchor and the above distributions via the Bayes' rule, which is employed as the sampling weight during negative sampling process. Since there may not exist any false negative in a small batch size, we design a memory module with momentum to retain a large negative buffer and implement our negative sampling strategy spanning over the buffer. In addition, to make the model focus on hard negatives, we reassign the sampling weights for the simple negatives with a cut-down strategy. The extensive experiments are conducted on Flickr30K and MS-COCO, and the results demonstrate the superiority of our proposed false negative elimination strategy. The code is available at https://github.com/LuminosityX/FNE.
• Abstract（参考訳）: 既存の画像テキストマッチング手法の多くは最適化目的として三重項損失を採用しており、モデルを効果的に訓練するには<anchor, positive, negative> の3重項に対する適切な負のサンプルを選択することが重要である。 しかし, 既存の手法では, ほぼ同様の試料をハード負として用いるが, 真の負ではない可能性がある。 言い換えれば、アンカーと組み合わせていない高い類似性を持つサンプルは、正の意味的関連を保留し、それらを偽陰性と呼ぶ。 これらの偽陰性を三重項損失で撃退することは、意味表現学習を誤解させ、検索性能を低下させる。 本稿では,偽陰性から生じる問題を緩和できる新しい偽陰性除去法を提案する。 具体的には,画像エンコーダとテキストエンコーダから抽出した特徴に基づいて,まず,アンカーとの類似性から正と負のサンプルの分布を別々に構築する。 得られたサンプルの偽陰性確率は、アンカーとの類似性および上記の分布に基づいてベイズの法則を用いて計算し、これは負のサンプリング過程においてサンプリング重量として用いられる。 小さいバッチサイズでは偽陰性は存在しないかもしれないので、大きな負のバッファを保持するために運動量を持つメモリモジュールを設計し、バッファにまたがる負のサンプリング戦略を実装します。 さらに, モデルが強陰性に焦点を合わせるために, 単純な負のサンプリング重みをカットダウン戦略で再割り当てする。 Flickr30KとMS-COCOで大規模な実験を行い,提案した偽陰性除去戦略の優位性を実証した。 コードはhttps://github.com/luminosityx/fneで入手できる。

関連論文リスト

• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• SimANS: Simple Ambiguous Negatives Sampling for Dense Text Retrieval [126.22182758461244]
  評価結果によると, 正の値にランク付けされた負の値は, 一般的にはより情報的であり, 偽陰の可能性が低いことがわかった。 そこで本研究では,よりあいまいな負のサンプリングに新しいサンプリング確率分布を組み込んだ,単純な曖昧な負のサンプリング手法であるSimANSを提案する。
  論文  参考訳（メタデータ） (2022-10-21T07:18:05Z)
• Entity Aware Negative Sampling with Auxiliary Loss of False Negative Prediction for Knowledge Graph Embedding [0.0]
  我々はEANS(Entity Aware Negative Smpling)と呼ばれる新しい手法を提案する。 EANSは、整列した実体指数空間にガウス分布を採用することにより、正に類似した負の実体をサンプリングすることができる。 提案手法は, 正のサンプルサイズによらず高品質な負のサンプルを生成し, 偽の負のサンプルの影響を効果的に軽減することができる。
  論文  参考訳（メタデータ） (2022-10-12T14:27:51Z)
• Negative Sampling for Recommendation [7.758275614033198]
  高品質なネガティブなインスタンスを効果的にサンプルする方法は、レコメンデーションモデルを適切にトレーニングするために重要である。 我々は、高品質なネガティブは、テクスチュンフォームネスとテクスチュンバイアスネスの両方であるべきだと論じる。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)
• Simplify and Robustify Negative Sampling for Implicit Collaborative Filtering [42.832851785261894]
  本稿では,まず,モデル学習において潜在的に重要な事例が少数存在することを実証的に観察し,ネガティブな事例を新たに理解する。 次に、メモリに格納された高分散サンプルを好んで、修正されていない偽陰性問題に取り組む。 2つの合成データセットと3つの実世界のデータセットの実証結果は、我々の負サンプリング法の堅牢性と優位性を示している。
  論文  参考訳（メタデータ） (2020-09-07T19:08:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。