論文の概要: Robust Contrastive Learning Using Negative Samples with Diminished Semantics

• arxiv url: http://arxiv.org/abs/2110.14189v1
• Date: Wed, 27 Oct 2021 05:38:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 03:26:04.203989
• Title: Robust Contrastive Learning Using Negative Samples with Diminished Semantics
• Title（参考訳）: 縮小意味論を用いた負のサンプルを用いたロバストコントラスト学習
• Authors: Songwei Ge, Shlok Mishra, Haohan Wang, Chun-Liang Li, David Jacobs
• Abstract要約: 慎重に設計された負のサンプルを生成することで、コントラスト学習がより堅牢な表現を学習できることが示される。 我々は, テクスチャベースとパッチベースの拡張という2つの手法を開発し, 負のサンプルを生成する。 また,本手法と生成したテクスチャベースサンプルを分析し,特定のイメージネットクラスを分類するにはテクスチャの特徴が不可欠であることを示す。
• 参考スコア（独自算出の注目度）: 23.38896719740166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised learning has recently made exceptional progress because of the development of more effective contrastive learning methods. However, CNNs are prone to depend on low-level features that humans deem non-semantic. This dependency has been conjectured to induce a lack of robustness to image perturbations or domain shift. In this paper, we show that by generating carefully designed negative samples, contrastive learning can learn more robust representations with less dependence on such features. Contrastive learning utilizes positive pairs that preserve semantic information while perturbing superficial features in the training images. Similarly, we propose to generate negative samples in a reversed way, where only the superfluous instead of the semantic features are preserved. We develop two methods, texture-based and patch-based augmentations, to generate negative samples. These samples achieve better generalization, especially under out-of-domain settings. We also analyze our method and the generated texture-based samples, showing that texture features are indispensable in classifying particular ImageNet classes and especially finer classes. We also show that model bias favors texture and shape features differently under different test settings. Our code, trained models, and ImageNet-Texture dataset can be found at https://github.com/SongweiGe/Contrastive-Learning-with-Non-Semantic-Negatives.
• Abstract（参考訳）: 教師なし学習は、より効果的なコントラスト学習手法の開発により、最近は例外的な進歩を遂げている。 しかし、CNNは人間が非意味とみなす低レベルの特徴に依存しやすい。 この依存は、画像摂動や領域シフトに対する堅牢性の欠如を引き起こすと推測されている。 本稿では,注意深く設計した負のサンプルを生成することで,これらの特徴に依存せず,より頑健な表現を学習できることを示す。 コントラスト学習は、訓練画像の表層的特徴を摂動しながら意味情報を保存する正のペアを利用する。 同様に,意味的特徴に代えて超流動のみを保存し,逆さまに負のサンプルを生成することを提案する。 我々は,テクスチャベースとパッチベースによる増補法という2つの手法を開発し,負のサンプルを生成する。 これらのサンプルは、特にドメイン外の設定下で、より良い一般化を実現する。 また,提案手法と生成したテクスチャベースサンプルを分析し,テクスチャ機能は特定のimagenetクラス,特により細かいクラスを分類するのに不可欠であることを示した。 また,モデルバイアスがテスト設定によって異なるテクスチャやシェイプ機能を好んでいることも示している。 私たちのコード、トレーニングされたモデル、ImageNet-Textureデータセットはhttps://github.com/SongweiGe/Contrastive-Learning-with-Non-Semantic-Negativesで確認できます。

関連論文リスト

• LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations [4.680881326162484]
  本稿では,新しいインスタンス識別手法と適応型損失関数を用いた表現学習における意味的特徴の解消を目的としたフレームワークであるLeOCLRを紹介する。 我々のアプローチは、ベースラインモデルと比較して、異なるデータセット間の表現学習を一貫して改善します。
  論文  参考訳（メタデータ） (2024-03-11T15:33:32Z)
• Generating Enhanced Negatives for Training Language-Based Object Detectors [86.1914216335631]
  我々は、現代の生成モデルに組み込まれた膨大な知識を活用して、元のデータにより関連性のある負を自動で構築することを提案する。 具体的には、大言語モデルを用いて、負のテキスト記述を生成するとともに、テキスト間拡散モデルを用いて、対応する負の画像を生成する。 実験により, 生成した負データとの関連性を確認し, 言語ベースの検出器での使用により, 2つの複雑なベンチマークの性能が向上した。
  論文  参考訳（メタデータ） (2023-12-29T23:04:00Z)
• Exploring Negatives in Contrastive Learning for Unpaired Image-to-Image Translation [12.754320302262533]
  我々は、パッチをスペーシングし、ランキング付けすることで、アンペア画像から画像への変換(PUT)のための新しい負のプルーニング技術を導入する。 提案アルゴリズムは効率的で柔軟で,対応するパッチ間で本質的な情報を安定的に学習することができる。
  論文  参考訳（メタデータ） (2022-04-23T08:31:18Z)
• Negative Evidence Matters in Interpretable Histology Image Classification [22.709305584896295]
  弱い教師付き学習法により、CNN分類器はイメージを共同分類し、予測されたクラスに関連する関心領域を得ることができる。 この問題は、自然画像よりも組織学的画像の方が難しいことが知られている。 完全負のサンプルからの情報を利用する合成損失関数に基づく簡易かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-01-07T13:26:18Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• An Empirical Study of the Collapsing Problem in Semi-Supervised 2D Human Pose Estimation [80.02124918255059]
  半教師付き学習は、ラベルなし画像の探索によってモデルの精度を高めることを目的としている。 私たちは相互に教え合うために2つのネットワークを学びます。 各ネットワーク内の容易なイメージに関するより信頼性の高い予測は、他のネットワークに対応するハードイメージについて学ぶように教えるために使用される。
  論文  参考訳（メタデータ） (2020-11-25T03:29:52Z)
• Boosting Contrastive Self-Supervised Learning with False Negative Cancellation [40.71224235172881]
  対照的な学習における根本的な問題は、偽陰性の影響を緩和することである。 偽陰性を特定するための新しい手法と、その効果を緩和するための2つの戦略を提案する。 提案手法は,既存のコントラスト学習法よりも一貫した改善を示す。
  論文  参考訳（メタデータ） (2020-11-23T22:17:21Z)
• Shape-Texture Debiased Neural Network Training [50.6178024087048]
  畳み込みニューラルネットワークは、トレーニングデータセットによって、テクスチャまたは形状にバイアスされることが多い。 形状・テクスチャ・デバイアスド学習のためのアルゴリズムを開発した。 実験により,本手法は複数の画像認識ベンチマークにおけるモデル性能の向上に成功していることが示された。
  論文  参考訳（メタデータ） (2020-10-12T19:16:12Z)
• Delving into Inter-Image Invariance for Unsupervised Visual Representations [108.33534231219464]
  画像間不変学習の役割をよりよく理解するための研究を提案する。 オンラインラベルはオフラインラベルよりも早く収束する。 半硬な負のサンプルは、硬い負のサンプルよりも信頼性が高く、偏りがない。
  論文  参考訳（メタデータ） (2020-08-26T17:44:23Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。