論文の概要: Are all negatives created equal in contrastive instance discrimination?
- arxiv url: http://arxiv.org/abs/2010.06682v2
- Date: Sun, 25 Oct 2020 16:55:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 23:19:41.831490
- Title: Are all negatives created equal in contrastive instance discrimination?
- Title（参考訳）: すべての負は対照的なインスタンス識別で等しいか?
- Authors: Tiffany Tianhui Cai, Jonathan Frankle, David J. Schwab, and Ari S.
Morcos
- Abstract要約: 自己教師型学習は、コンピュータビジョンタスクにおける教師型学習と競合し始めている。
有用表現の学習において,どの難易度が重要かを検討した。
ダウンストリームタスクがほぼ完全な精度に達するためには,少数のネガティブな作業が必要であり,かつ十分であることがわかったのです。
- 参考スコア（独自算出の注目度）: 30.132884124576982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning has recently begun to rival supervised learning on
computer vision tasks. Many of the recent approaches have been based on
contrastive instance discrimination (CID), in which the network is trained to
recognize two augmented versions of the same instance (a query and positive)
while discriminating against a pool of other instances (negatives). The learned
representation is then used on downstream tasks such as image classification.
Using methodology from MoCo v2 (Chen et al., 2020), we divided negatives by
their difficulty for a given query and studied which difficulty ranges were
most important for learning useful representations. We found a minority of
negatives -- the hardest 5% -- were both necessary and sufficient for the
downstream task to reach nearly full accuracy. Conversely, the easiest 95% of
negatives were unnecessary and insufficient. Moreover, the very hardest 0.1% of
negatives were unnecessary and sometimes detrimental. Finally, we studied the
properties of negatives that affect their hardness, and found that hard
negatives were more semantically similar to the query, and that some negatives
were more consistently easy or hard than we would expect by chance. Together,
our results indicate that negatives vary in importance and that CID may benefit
from more intelligent negative treatment.
- Abstract（参考訳）: 自己教師あり学習はコンピュータビジョンタスクにおける教師あり学習に匹敵し始めている。
最近のアプローチの多くは、コントラストインスタンス識別(cid)に基づいており、ネットワークは、他のインスタンスプール(ネガティブ)と区別しながら、同じインスタンスの2つの拡張バージョン(クエリとポジティブ)を認識するように訓練されている。
学習された表現は、画像分類などの下流タスクで使用される。
moco v2 (chen et al., 2020) の方法論を用いて,与えられたクエリの難易度で負を分割し,有用表現の学習においてどの難易度範囲が最重要かを検討した。
負の少数派(最も難しい5%)は、下流のタスクがほぼ完全な正確さに達するのに必要かつ十分なものであった。
逆に、最も簡単な負の95%は不要で不十分であった。
さらに、負の最も難しい0.1%は不必要であり、時には有害であった。
最後に,その硬さに影響を与える負の特性について検討し,硬い負はクエリと意味的によく似ており,いくつかの負は偶然に予想したよりもずっと簡単あるいは困難であることがわかった。
以上の結果から,CIDはよりインテリジェントな陰性治療の恩恵を受ける可能性が示唆された。
関連論文リスト
- Investigating the Role of Negatives in Contrastive Representation
Learning [59.30700308648194]
ノイズコントラスト学習は教師なし表現学習の一般的な手法である。
我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。
結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
論文 参考訳（メタデータ） (2021-06-18T06:44:16Z) - Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。
対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。
提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
論文 参考訳（メタデータ） (2021-06-07T15:29:14Z) - Boosting Contrastive Self-Supervised Learning with False Negative
Cancellation [40.71224235172881]
対照的な学習における根本的な問題は、偽陰性の影響を緩和することである。
偽陰性を特定するための新しい手法と、その効果を緩和するための2つの戦略を提案する。
提案手法は,既存のコントラスト学習法よりも一貫した改善を示す。
論文 参考訳（メタデータ） (2020-11-23T22:17:21Z) - AdCo: Adversarial Contrast for Efficient Learning of Unsupervised
Representations from Self-Trained Negative Adversaries [55.059844800514774]
本稿では,正の問合せに対して識別が難しい表現を訓練するためのAdCoモデルを提案する。
実験により,AdCoモデルが優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2020-11-17T05:45:46Z) - Contrastive Learning with Hard Negative Samples [80.12117639845678]
我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。
このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。
提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
論文 参考訳（メタデータ） (2020-10-09T14:18:53Z) - NPCFace: Negative-Positive Collaborative Training for Large-scale Face
Recognition [78.21084529159577]
我々は、トレーニングを改善するために、ハードサンプルのより良い利用方法を研究する。
強正と強負の相関は見過ごされ、正と負のロジットのマージンの関係も見過ごされる。
我々はNPCFaceと呼ばれる新規な負の正の協調的損失を提案し、これは負のハードケースと正のハードケースの両方のトレーニングを強調している。
論文 参考訳（メタデータ） (2020-07-20T14:52:29Z) - Combating False Negatives in Adversarial Imitation Learning [67.99941805086154]
敵対的模倣学習では、エージェントエピソードと、所望の行動を表す専門家のデモンストレーションとを区別するために、判別器を訓練する。
訓練された方針がより成功することを学ぶと、負の例は専門家の例とますます似ている。
本研究では,偽陰性の影響を緩和し,BabyAI環境上で検証する手法を提案する。
論文 参考訳（メタデータ） (2020-02-02T14:56:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。