論文の概要: Can contrastive learning avoid shortcut solutions?

• arxiv url: http://arxiv.org/abs/2106.11230v1
• Date: Mon, 21 Jun 2021 16:22:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 18:09:00.113072
• Title: Can contrastive learning avoid shortcut solutions?
• Title（参考訳）: 対照的な学習はショートカットソリューションを避けることができるか?
• Authors: Joshua Robinson, Li Sun, Ke Yu, Kayhan Batmanghelich, Stefanie Jegelka, Suvrit Sra
• Abstract要約: 暗黙的特徴修正(IFM)は、より広い種類の予測的特徴を捉えるために、対照的なモデルを導くために、正と負のサンプルを変更する方法である。 IFMは特徴抑制を低減し、その結果、視覚および医用画像タスクのパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 88.249082564465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The generalization of representations learned via contrastive learning depends crucially on what features of the data are extracted. However, we observe that the contrastive loss does not always sufficiently guide which features are extracted, a behavior that can negatively impact the performance on downstream tasks via "shortcuts", i.e., by inadvertently suppressing important predictive features. We find that feature extraction is influenced by the difficulty of the so-called instance discrimination task (i.e., the task of discriminating pairs of similar points from pairs of dissimilar ones). Although harder pairs improve the representation of some features, the improvement comes at the cost of suppressing previously well represented features. In response, we propose implicit feature modification (IFM), a method for altering positive and negative samples in order to guide contrastive models towards capturing a wider variety of predictive features. Empirically, we observe that IFM reduces feature suppression, and as a result improves performance on vision and medical imaging tasks. The code is available at: \url{https://github.com/joshr17/IFM}.
• Abstract（参考訳）: コントラスト学習によって学習される表現の一般化は、データのどの特徴が抽出されるかに大きく依存する。 しかし,どの特徴が抽出されるか,すなわち「ショートカット」によって下流タスクのパフォーマンスに悪影響を及ぼす行動,すなわち重要な予測的特徴を不注意に抑制することで,コントラスト損失が必ずしも十分なガイドとなるとは限らない。 特徴抽出は、いわゆるインスタンス識別タスクの難しさ(すなわち、類似点のペアと類似点のペアを区別するタスク)に影響されていることがわかった。 ハードペアはいくつかの機能表現を改善するが、以前よく表現された機能を抑圧するコストで改善される。 提案手法は, より広い範囲の予測的特徴を捉えるために, 対照的なモデルを導出するために, 正および負のサンプルを修正するための暗黙的特徴修正(IFM)を提案する。 経験的に、IMMは特徴抑制を低減し、その結果、視力や医用画像のタスクの性能が向上する。 コードは \url{https://github.com/joshr17/ifm} で入手できる。

関連論文リスト

• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• Amortised Invariance Learning for Contrastive Self-Supervision [11.042648980854485]
  対照的な自己監督のために, 償却不変学習の概念を導入する。 我々のアモーテッド機能は、異なる不変条件で様々な下流タスクを学習する信頼性の高い方法を提供することを示す。 これは、汎用表現学習の分野での新しい地平を開くエキサイティングな視点を提供する。
  論文  参考訳（メタデータ） (2023-02-24T16:15:11Z)
• CIPER: Combining Invariant and Equivariant Representations Using Contrastive and Predictive Learning [6.117084972237769]
  比較不変性と予測同変表現学習(CIPER)を導入する。 CIPERは、1つの共有エンコーダとエンコーダの上の2つの異なる出力ヘッドを用いて、不変および同変学習目的を含む。 我々は静的な画像タスクと時間拡張された画像データセットについて評価する。
  論文  参考訳（メタデータ） (2023-02-05T07:50:46Z)
• MetAug: Contrastive Learning via Meta Feature Augmentation [28.708395209321846]
  対照的な学習は、情報的特徴、すなわち「堅い」(肯定的または否定的な)特徴に大きく依存している、と我々は主張する。 このような特徴を探索する上で重要な課題は、ランダムなデータ拡張を適用することで、ソースのマルチビューデータを生成することである。 本稿では,潜在空間における特徴を直接拡張し,大量の入力データなしで識別表現を学習することを提案する。
  論文  参考訳（メタデータ） (2022-03-10T02:35:39Z)
• Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
  AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2021-11-18T10:43:50Z)
• Improving Contrastive Learning by Visualizing Feature Transformation [37.548120912055595]
  本稿では,データ拡張とは異なる特徴レベルのデータ操作を考案し,汎用的なコントラスト型自己教師型学習の強化を試みる。 まず,pos/negスコアの可視化手法(pos/negスコアはpos/negペアの類似性を示す)を設計し,学習過程の分析,解釈,理解を可能にする。 その結果,MoCoベースライン上でのImageNet-100の精度は少なくとも6.0%向上し,MoCoV2ベースライン上でのImageNet-1Kの精度は約2.0%向上した。
  論文  参考訳（メタデータ） (2021-08-06T07:26:08Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
  本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。 我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。 我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
  論文  参考訳（メタデータ） (2020-08-13T03:02:32Z)
• Disentanglement for Discriminative Visual Recognition [7.954325638519141]
  この章では、有害な要因を、タスク関連/非関連なセマンティックなバリエーションと、特定されていない潜伏的なバリエーションとして体系的に要約する。 統合された2つの完全に接続されたレイヤブランチフレームワークにおいて、ディープメトリックロスとソフトマックスロスを組み合わせることで、より優れたFER性能を実現することができる。 このフレームワークは、照明、化粧、変装耐性顔認証、顔属性認識など、一連のタスクにおいて最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-06-14T06:10:51Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。