論文の概要: Incremental False Negative Detection for Contrastive Learning

• arxiv url: http://arxiv.org/abs/2106.03719v1
• Date: Mon, 7 Jun 2021 15:29:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 17:58:58.155441
• Title: Incremental False Negative Detection for Contrastive Learning
• Title（参考訳）: コントラスト学習のためのインクリメンタル偽陰性検出
• Authors: Tsai-Shien Chen, Wei-Chih Hung, Hung-Yu Tseng, Shao-Yi Chien, Ming-Hsuan Yang
• Abstract要約: 本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
• 参考スコア（独自算出の注目度）: 95.68120675114878
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning has recently shown great potential in vision tasks via contrastive learning, which aims to discriminate each image, or instance, in the dataset. However, such instance-level learning ignores the semantic relationship between instances and repels the anchor equally from the semantically similar samples, termed as false negatives. In this work, we first empirically highlight that the unfavorable effect from false negatives is more significant for the datasets containing images with more semantic concepts. To address the issue, we introduce a novel incremental false negative detection for self-supervised contrastive learning. Following the training process, when the encoder is gradually better-trained and the embedding space becomes more semantically structural, our method incrementally detects more reliable false negatives. Subsequently, during contrastive learning, we discuss two strategies to explicitly remove the detected false negatives. Extensive experiments show that our proposed method outperforms other self-supervised contrastive learning frameworks on multiple benchmarks within a limited compute.
• Abstract（参考訳）: 自己教師付き学習は、データセット内の各画像や例を識別することを目的としたコントラスト学習を通じて、視覚タスクに大きな可能性を示している。 しかし、このようなインスタンスレベルの学習は、インスタンス間の意味的関係を無視し、anchorを同じ意味的に類似したサンプルから均等に撃退する。 本稿では,まず,より意味的な概念を持つ画像を含むデータセットにおいて,偽陰性による不利な影響がより重要であることを実証的に強調する。 この問題に対処するために,自己教師付きコントラスト学習のための新たな偽陰性検出手法を提案する。 トレーニングプロセスの後,エンコーダの訓練が徐々に向上し,組込み空間が意味的に構造的になった場合,本手法はより信頼性の高い偽陰性を検出する。 その後,対照学習中に検出された偽陰性を明示的に除去する2つの戦略について検討する。 実験の結果,提案手法は,複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れていることがわかった。

関連論文リスト

• Point Contrastive Prediction with Semantic Clustering for Self-Supervised Learning on Point Cloud Videos [71.20376514273367]
  本稿では,オブジェクト中心およびシーン中心のデータを対象とした一元的クラウドビデオ自己教師型学習フレームワークを提案する。 本手法は、広範囲の下流タスクにおいて教師付きタスクよりも優れる。
  論文  参考訳（メタデータ） (2023-08-18T02:17:47Z)
• Contrastive Bayesian Analysis for Deep Metric Learning [30.21464199249958]
  特徴的類似性によって条件付けられた画像ラベルの後方確率を特徴付け,モデル化するために,コントラッシブなベイズ解析を開発した。 この対照的なベイズ解析は、深い計量学習のための新しい損失関数をもたらす。 実験結果とアブレーション実験により,提案手法は深層学習の性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2022-10-10T02:24:21Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• CLINE: Contrastive Learning with Semantic Negative Examples for Natural Language Understanding [35.003401250150034]
  本稿では,事前学習した言語モデルの堅牢性を改善するために,セマントIc負例を用いたコントラスト学習を提案する。 CLINEは、意味論的敵対攻撃下での堅牢性を改善するために、教師なしの意味論的ネガティブな例を構築している。 実験結果から,本手法は感情分析,推論,読解作業において大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-07-01T13:34:12Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Boosting Contrastive Self-Supervised Learning with False Negative Cancellation [40.71224235172881]
  対照的な学習における根本的な問題は、偽陰性の影響を緩和することである。 偽陰性を特定するための新しい手法と、その効果を緩和するための2つの戦略を提案する。 提案手法は,既存のコントラスト学習法よりも一貫した改善を示す。
  論文  参考訳（メタデータ） (2020-11-23T22:17:21Z)
• Hard Negative Mixing for Contrastive Learning [29.91220669060252]
  我々は、コントラスト学習の重要な側面、すなわちハードネガティブの影響は、これまで無視されてきたと論じている。 計算オーバーヘッドを最小限に抑えながら、オンザフライで計算できる機能レベルでのハードネガティブな混合戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-02T14:34:58Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。