論文の概要: Hard negative examples are hard, but useful
- arxiv url: http://arxiv.org/abs/2007.12749v2
- Date: Thu, 25 Feb 2021 22:40:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 05:54:50.304724
- Title: Hard negative examples are hard, but useful
- Title(参考訳): ハードネガティブな例は難しいが役に立つ
- Authors: Hong Xuan, Abby Stylianou, Xiaotong Liu, Robert Pless
- Abstract要約: 三重項の空間を特徴付け、なぜ硬い負が三重項損失トレーニングを失敗させるのかを導出する。
損失関数に簡単な修正を提供し、この修正によって、ハードネガティブな例で最適化が実現可能であることを示す。
これにより、より一般化可能な特徴が得られ、画像検索の結果は、クラス内でのばらつきの高いデータセットに対して、技術の状態よりも優れる。
- 参考スコア(独自算出の注目度): 12.120041613482558
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Triplet loss is an extremely common approach to distance metric learning.
Representations of images from the same class are optimized to be mapped closer
together in an embedding space than representations of images from different
classes. Much work on triplet losses focuses on selecting the most useful
triplets of images to consider, with strategies that select dissimilar examples
from the same class or similar examples from different classes. The consensus
of previous research is that optimizing with the \textit{hardest} negative
examples leads to bad training behavior. That's a problem -- these hardest
negatives are literally the cases where the distance metric fails to capture
semantic similarity. In this paper, we characterize the space of triplets and
derive why hard negatives make triplet loss training fail. We offer a simple
fix to the loss function and show that, with this fix, optimizing with hard
negative examples becomes feasible. This leads to more generalizable features,
and image retrieval results that outperform state of the art for datasets with
high intra-class variance.
- Abstract(参考訳): トリプルト損失は距離計量学習に対する非常に一般的なアプローチである。
同じクラスの画像の表現は、異なるクラスの画像の表現よりも、埋め込み空間で密にマッピングするように最適化されている。
トリプルトロスに関する多くの作業は、考慮すべき最も有用なトリプルトを選択することに焦点を当てており、同じクラスから異なる例や異なるクラスから類似した例を選択する戦略がある。
従来の研究のコンセンサスは, 否定的な例であるtextit{hardest} を最適化することで, トレーニング行動が悪くなる点にある。
これは問題です -- これらの最も難しい負は文字通り、距離メトリックが意味的類似性を捉えることができない場合です。
本稿では,三重項の空間を特徴付けるとともに,三重項損失トレーニングの失敗の原因を導出する。
損失関数の簡単な修正を提供し、この修正により、ハードネガティブな例による最適化が実現可能であることを示す。
これにより、より一般化可能な機能と、クラス内ばらつきの高いデータセットの最先端を上回る画像検索結果が得られる。
関連論文リスト
- Active Mining Sample Pair Semantics for Image-text Matching [6.370886833310617]
本稿では,Active Mining Sample Pair Semantics Image-text matching model (AMSPS)と呼ばれる新しい画像テキストマッチングモデルを提案する。
3重項損失関数を持つコモンセンス学習モデルの1つの意味学習モードと比較して、AMSPSはアクティブな学習アイデアである。
論文 参考訳(メタデータ) (2023-11-09T15:03:57Z) - Graph Self-Contrast Representation Learning [14.519482062111507]
本稿では,新しいグラフ自己コントラストフレームワークGraphSCを提案する。
1つの正のサンプルと1つの負のサンプルしか使用せず、目的として三重項損失を選択する。
我々は,他の19種類の最先端手法に対して,GraphSCの性能を評価するための広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-09-05T15:13:48Z) - Your Negative May not Be True Negative: Boosting Image-Text Matching
with False Negative Elimination [62.18768931714238]
提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。
その結果,提案した偽陰性除去戦略の優位性が示された。
論文 参考訳(メタデータ) (2023-08-08T16:31:43Z) - Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。
近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。
これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
論文 参考訳(メタデータ) (2022-02-14T15:18:00Z) - Instance-wise Hard Negative Example Generation for Contrastive Learning
in Unpaired Image-to-Image Translation [102.99799162482283]
非ペア画像-画像翻訳(NEGCUT)におけるコントラスト学習のための例-wise hard Negative Example Generationを提案する。
具体的には、オンラインでネガティブな例を生成するようにジェネレータを訓練する。ジェネレータは、1)入力画像に基づいて生成されたサンプルをインスタンスワイズし、2)逆向きの損失で訓練されたので、強烈なネガティブな例を生成することができる。
論文 参考訳(メタデータ) (2021-08-10T09:44:59Z) - ISD: Self-Supervised Learning by Iterative Similarity Distillation [39.60300771234578]
自己教師付き学習アルゴリズムを導入し,正対と負対の区別ではなく,負のイメージに対してソフトな類似性を用いる。
転送学習におけるBYOLやMoCoといった最先端モデルと比較すると,より優れた結果が得られる。
論文 参考訳(メタデータ) (2020-12-16T20:50:17Z) - Contrastive Learning with Hard Negative Samples [80.12117639845678]
我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。
このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。
提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
論文 参考訳(メタデータ) (2020-10-09T14:18:53Z) - Delving into Inter-Image Invariance for Unsupervised Visual
Representations [108.33534231219464]
画像間不変学習の役割をよりよく理解するための研究を提案する。
オンラインラベルはオフラインラベルよりも早く収束する。
半硬な負のサンプルは、硬い負のサンプルよりも信頼性が高く、偏りがない。
論文 参考訳(メタデータ) (2020-08-26T17:44:23Z) - Adaptive Offline Quintuplet Loss for Image-Text Matching [102.50814151323965]
既存の画像テキストマッチングアプローチでは、オンラインのハードネガティブによるトリプルト損失を利用してモデルをトレーニングするのが一般的である。
トレーニングセット全体からオフラインで負をサンプリングして解を提案する。
我々は,MS-COCOとFlickr30Kデータセットを用いた3つの最先端画像テキストモデルに対するトレーニング手法の評価を行った。
論文 参考訳(メタデータ) (2020-03-07T22:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。