論文の概要: AdCo: Adversarial Contrast for Efficient Learning of Unsupervised Representations from Self-Trained Negative Adversaries

• arxiv url: http://arxiv.org/abs/2011.08435v5
• Date: Fri, 5 Mar 2021 07:01:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 15:36:18.405790
• Title: AdCo: Adversarial Contrast for Efficient Learning of Unsupervised Representations from Self-Trained Negative Adversaries
• Title（参考訳）: adco: 自己学習した負の敵からの教師なし表現の効率的な学習のためのコントラスト
• Authors: Qianjiang Hu, Xiao Wang, Wei Hu, Guo-Jun Qi
• Abstract要約: 本稿では,正の問合せに対して識別が難しい表現を訓練するためのAdCoモデルを提案する。 実験により,AdCoモデルが優れた性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 55.059844800514774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning relies on constructing a collection of negative examples that are sufficiently hard to discriminate against positive queries when their representations are self-trained. Existing contrastive learning methods either maintain a queue of negative samples over minibatches while only a small portion of them are updated in an iteration, or only use the other examples from the current minibatch as negatives. They could not closely track the change of the learned representation over iterations by updating the entire queue as a whole, or discard the useful information from the past minibatches. Alternatively, we present to directly learn a set of negative adversaries playing against the self-trained representation. Two players, the representation network and negative adversaries, are alternately updated to obtain the most challenging negative examples against which the representation of positive queries will be trained to discriminate. We further show that the negative adversaries are updated towards a weighted combination of positive queries by maximizing the adversarial contrastive loss, thereby allowing them to closely track the change of representations over time. Experiment results demonstrate the proposed Adversarial Contrastive (AdCo) model not only achieves superior performances (a top-1 accuracy of 73.2\% over 200 epochs and 75.7\% over 800 epochs with linear evaluation on ImageNet), but also can be pre-trained more efficiently with fewer epochs.
• Abstract（参考訳）: 対照的な学習は、表現が自己学習されたときに肯定的なクエリと区別することが十分に難しい否定的な例の集合を構築することに依存する。 既存の対照的な学習方法は、ミニバッチ上の負のサンプルのキューを維持するか、少数のサンプルだけをイテレーションで更新するか、あるいは現在のミニバッチの他の例を負として使用するかのいずれかである。 キュー全体を更新したり、過去のミニバッチから有用な情報を破棄したりすることで、反復による学習した表現の変化を綿密に追跡することはできなかった。 あるいは、自己学習された表現に逆らう負の敵の集合を直接学習する。 表現ネットワークと負の敵である2つのプレイヤーを交互に更新し、正のクエリの表現を識別するために訓練する最も困難な負の例を得る。 さらに、敵のコントラスト損失を最大化することで、負の敵は正のクエリの重み付けされた組み合わせに向かって更新され、時間とともに表現の変化を密に追跡できることを示した。 実験により,提案したAdCoモデルが優れた性能(トップ1の精度は200エポック以上73.2\%,800エポック以上75.7\%)を達成するだけでなく,より少ないエポックでより効率的に事前学習できることを示した。

関連論文リスト

• The Bad Batches: Enhancing Self-Supervised Learning in Image Classification Through Representative Batch Curation [1.519321208145928]
  人間の監督なしに堅牢な表現を学ぶことの追求は、長年にわたる課題である。 本稿では,Fr'echet ResNet Distance(FRD)によるペアワイズ類似性計算を用いて,偽正負負対と偽負対の影響を緩和する。 提案手法の有効性は,STL10で87.74%,Flower102データセットで99.31%,自己教師付きコントラスト表現で訓練された線形分類器によって実証された。
  論文  参考訳（メタデータ） (2024-03-28T17:04:07Z)
• Better Sampling of Negatives for Distantly Supervised Named Entity Recognition [39.264878763160766]
  本稿では, 正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正 提案手法は,4つの遠隔教師付きNERデータセットに対して一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2023-05-22T15:35:39Z)
• Debiased Contrastive Learning of Unsupervised Sentence Representations [88.58117410398759]
  コントラスト学習は、事前訓練された言語モデル(PLM)を改善し、高品質な文表現を導き出すのに有効である。 以前の作業は、主にランダムにトレーニングデータからバッチ内陰性またはサンプルを採用する。 我々はこれらの不適切な負の影響を軽減するための新しいフレームワーク textbfDCLR を提案する。
  論文  参考訳（メタデータ） (2022-05-02T05:07:43Z)
• CaCo: Both Positive and Negative Samples are Directly Learnable via Cooperative-adversarial Contrastive Learning [45.68097757313092]
  クエリアンカーが与えられた負のサンプルと正のサンプルを区別することで、エンコーダを訓練する。 比較損失の最小化と最大化により, 正および負のサンプルを協調的に, 対角的に学習できることが示唆された。 提案手法は、ImageNet1K上で事前トレーニングされたResNet-50バックボーンの200と800のエポックに対して、トップ1の精度で71.3%と75.3%を達成する。
  論文  参考訳（メタデータ） (2022-03-27T18:50:39Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。