論文の概要: Intriguing Properties of Contrastive Losses
- arxiv url: http://arxiv.org/abs/2011.02803v3
- Date: Sat, 23 Oct 2021 18:25:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 11:13:57.852603
- Title: Intriguing Properties of Contrastive Losses
- Title（参考訳）: コントラスト損失の興味深い性質
- Authors: Ting Chen and Calvin Luo and Lala Li
- Abstract要約: コントラスト学習の3つの興味深い特性について検討する。
複数のオブジェクトが存在する画像に対して、インスタンスベースのコントラスト学習がうまく学習できるかどうかを検討する。
対照的な学習では、学習しやすい共有機能のいくつかは、競合する機能の集合の学習を抑え、さらに完全に阻止することができる。
- 参考スコア（独自算出の注目度）: 12.953112189125411
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study three intriguing properties of contrastive learning. First, we
generalize the standard contrastive loss to a broader family of losses, and we
find that various instantiations of the generalized loss perform similarly
under the presence of a multi-layer non-linear projection head. Second, we
study if instance-based contrastive learning (with a global image
representation) can learn well on images with multiple objects present. We find
that meaningful hierarchical local features can be learned despite the fact
that these objectives operate on global instance-level features. Finally, we
study the phenomenon of feature suppression among competing features shared
across augmented views, such as "color distribution" vs "object class". We
construct datasets with explicit and controllable competing features, and show
that, for contrastive learning, a few bits of easy-to-learn shared features can
suppress, and even fully prevent, the learning of other sets of competing
features. In scenarios where there are multiple objects in an image, the
dominant object would suppress the learning of smaller objects. Existing
contrastive learning methods critically rely on data augmentation to favor
certain sets of features over others, and could suffer from learning saturation
for scenarios where existing augmentations cannot fully address the feature
suppression. This poses open challenges to existing contrastive learning
techniques.
- Abstract（参考訳）: コントラスト学習の3つの興味深い特性について検討する。
まず, 一般的なコントラスト損失を広い損失系列に一般化し, 多層非直線射影ヘッドの存在下では, 一般化された損失の様々なインスタンス化が同じように動作することを示した。
第2に、複数のオブジェクトが存在する画像に対して、インスタンスベースのコントラスト学習(グローバル画像表現)がうまく学習できるかどうかを検討する。
これらの目的がグローバルなインスタンスレベルの機能に作用しているにもかかわらず、意味のある階層的な局所的特徴を学習できることがわかりました。
最後に,「色分布」と「オブジェクトクラス」のような拡張ビュー間で共有される競合機能間の特徴抑制現象について検討する。
明示的で制御可能な競合機能を備えたデータセットを構築し、対照的な学習では、数ビットの簡単に学習できる共有機能によって、競合する機能セットの学習が抑制され、さらに完全に防止されることを示す。
画像に複数のオブジェクトが存在する場合、支配的なオブジェクトはより小さなオブジェクトの学習を抑制する。
既存のコントラスト学習法は、特定の機能セットを他の機能よりも優先するために、データ拡張に依存しており、既存の拡張が機能抑制に完全に対処できないシナリオの飽和度を学習するのに苦しむ可能性がある。
これは既存のコントラスト学習技術にオープンな課題をもたらす。
関連論文リスト
- High-Discriminative Attribute Feature Learning for Generalized Zero-Shot Learning [54.86882315023791]
一般化ゼロショット学習(HDAFL)のための高識別属性特徴学習(High-Discriminative Attribute Feature Learning)という革新的な手法を提案する。
HDAFLは複数の畳み込みカーネルを使用して、画像の属性と高い相関性を持つ識別領域を自動的に学習する。
また、属性間の識別能力を高めるために、Transformerベースの属性識別エンコーダを導入する。
論文 参考訳（メタデータ） (2024-04-07T13:17:47Z) - LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations [4.680881326162484]
本稿では,新しいインスタンス識別手法と適応型損失関数を用いた表現学習における意味的特徴の解消を目的としたフレームワークであるLeOCLRを紹介する。
我々のアプローチは、ベースラインモデルと比較して、異なるデータセット間の表現学習を一貫して改善します。
論文 参考訳（メタデータ） (2024-03-11T15:33:32Z) - Matching Multiple Perspectives for Efficient Representation Learning [0.0]
本稿では,自己教師型学習とマルチパースペクティブマッチング技術を組み合わせたアプローチを提案する。
我々は,同一オブジェクトの複数ビューと多種多様な自己教師付き事前学習アルゴリズムを組み合わせることで,オブジェクト分類性能が向上することを示す。
論文 参考訳（メタデータ） (2022-08-16T10:33:13Z) - Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。
本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
論文 参考訳（メタデータ） (2022-05-30T17:50:59Z) - Towards Self-Supervised Learning of Global and Object-Centric
Representations [4.36572039512405]
自己スーパービジョンを用いた構造化対象中心表現の学習における重要な側面について論じる。
CLEVRデータセットに関するいくつかの実験を通じて、私たちの洞察を検証します。
論文 参考訳（メタデータ） (2022-03-11T15:18:47Z) - Object-aware Contrastive Learning for Debiased Scene Representation [74.30741492814327]
オブジェクトを自己教師型でローカライズする,オブジェクト認識型コントラスト学習フレームワークを開発した。
また、コントラCAM、オブジェクト認識型乱作、背景混合に基づく2つのデータ拡張を導入し、コントラスト型自己教師型学習における文脈バイアスと背景バイアスを低減した。
論文 参考訳（メタデータ） (2021-07-30T19:24:07Z) - Hard Negative Mixing for Contrastive Learning [29.91220669060252]
我々は、コントラスト学習の重要な側面、すなわちハードネガティブの影響は、これまで無視されてきたと論じている。
計算オーバーヘッドを最小限に抑えながら、オンザフライで計算できる機能レベルでのハードネガティブな混合戦略を提案する。
論文 参考訳（メタデータ） (2020-10-02T14:34:58Z) - What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。
我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。
我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
論文 参考訳（メタデータ） (2020-08-13T03:02:32Z) - Learning the Redundancy-free Features for Generalized Zero-Shot Object
Recognition [28.08885682748527]
ゼロショットオブジェクト認識は、意味的関連カテゴリ間でオブジェクト認識能力を伝達することを目的としている。
本稿では,一般化ゼロショット学習のための冗長性のない特徴を学習する。
その結果,我々の冗長性のない特徴に基づく一般化ゼロショット学習(RFF-GZSL)アプローチは,最先端技術と比較して競争力のある結果が得られることがわかった。
論文 参考訳（メタデータ） (2020-06-16T05:53:25Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
コントラスト学習は教師なし表現学習に革命をもたらした。
現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。
本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
論文 参考訳（メタデータ） (2020-04-14T16:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。