論文の概要: Identifiable Contrastive Learning with Automatic Feature Importance Discovery

• arxiv url: http://arxiv.org/abs/2310.18904v1
• Date: Sun, 29 Oct 2023 05:20:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 15:40:32.708516
• Title: Identifiable Contrastive Learning with Automatic Feature Importance Discovery
• Title（参考訳）: 特徴量自動発見による識別可能なコントラスト学習
• Authors: Qi Zhang, Yifei Wang, Yisen Wang
• Abstract要約: 既存のコントラスト学習方法は、データ表現を学ぶために、ペアワイズサンプルコントラスト$z_xtop z_x'$に依存している。 本稿では,3要素コントラストを$z_xtop S z_x'$で表現する三要素コントラスト学習(tri-factor contrastive learning, triCL)を提案する。 ここでは、triCLは、ランダム性を排除した識別可能な特徴だけでなく、重要性行列$S$に従って順序付けられたより解釈可能な特徴を得ることができることを示す。
• 参考スコア（独自算出の注目度）: 42.79722642064762
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing contrastive learning methods rely on pairwise sample contrast $z_x^\top z_{x'}$ to learn data representations, but the learned features often lack clear interpretability from a human perspective. Theoretically, it lacks feature identifiability and different initialization may lead to totally different features. In this paper, we study a new method named tri-factor contrastive learning (triCL) that involves a 3-factor contrast in the form of $z_x^\top S z_{x'}$, where $S=\text{diag}(s_1,\dots,s_k)$ is a learnable diagonal matrix that automatically captures the importance of each feature. We show that by this simple extension, triCL can not only obtain identifiable features that eliminate randomness but also obtain more interpretable features that are ordered according to the importance matrix $S$. We show that features with high importance have nice interpretability by capturing common classwise features, and obtain superior performance when evaluated for image retrieval using a few features. The proposed triCL objective is general and can be applied to different contrastive learning methods like SimCLR and CLIP. We believe that it is a better alternative to existing 2-factor contrastive learning by improving its identifiability and interpretability with minimal overhead. Code is available at https://github.com/PKU-ML/Tri-factor-Contrastive-Learning.
• Abstract（参考訳）: 既存のコントラスト学習法は、データ表現を学ぶためにペアワイズサンプルのコントラスト$z_x^\top z_{x'}$に依存するが、学習された特徴はしばしば人間の視点からの明確な解釈性を欠いている。 理論的には、特徴の識別性が欠如しており、異なる初期化が全く異なる特徴をもたらす可能性がある。 本稿では,三要素コントラスト学習(triCL)と呼ばれる3要素コントラストを$z_x^\top S z_{x'}$で表し,各特徴の重要性を自動的に把握する学習可能な対角行列である$S=\text{diag}(s_1,\dots,s_k)$について検討する。 この単純な拡張により、triclはランダム性を排除する識別可能な特徴を得るだけでなく、重要度行列$s$に従って順序づけられるより解釈可能な特徴を得ることができる。 本稿では, 画像検索において, 画像検索において, クラスワイドな特徴を捉えることで, 高い重要性を持つ特徴が良好な解釈性を有することを示す。 提案する TriCL の目的は汎用的であり,SimCLR や CLIP などの異なるコントラスト学習手法に適用可能である。 最小限のオーバーヘッドで識別性と解釈性を向上させることで、既存の2要素のコントラスト学習の代替となると信じている。 コードはhttps://github.com/PKU-ML/Tri-factor-Contrastive-Learningで入手できる。

関連論文リスト

• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Separating common from salient patterns with Contrastive Representation Learning [2.250968907999846]
  コントラスト分析は、2つのデータセット間の変動の共通要因を分離することを目的としている。 変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。 コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の活用を提案する。
  論文  参考訳（メタデータ） (2024-02-19T08:17:13Z)
• Dual Feature Augmentation Network for Generalized Zero-shot Learning [14.410978100610489]
  ゼロショット学習 (ZSL) は,見知らぬクラスから知識を伝達することによって,サンプルを訓練せずに新しいクラスを推論することを目的としている。 ZSLの既存の埋め込みベースのアプローチは、画像上の属性を見つけるために注意機構を用いるのが一般的である。 本稿では,2つの機能拡張モジュールからなる新しいDual Feature Augmentation Network (DFAN)を提案する。
  論文  参考訳（メタデータ） (2023-09-25T02:37:52Z)
• Exploring Fine-Grained Representation and Recomposition for Cloth-Changing Person Re-Identification [78.52704557647438]
  補助的なアノテーションやデータなしに両方の制約に対処するために,新しいFIne-fine Representation and Recomposition (FIRe$2$) フレームワークを提案する。 FIRe$2$は、広く使われている5つのRe-IDベンチマークで最先端のパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2023-08-21T12:59:48Z)
• Triplet Contrastive Learning for Unsupervised Vehicle Re-identification [55.445358749042384]
  部分的特徴学習は、車両の再識別におけるセマンティック理解にとって重要な技術である。 本稿では,クラスタ機能を活用したTCL(Triplet Contrastive Learning framework)を提案する。
  論文  参考訳（メタデータ） (2023-01-23T15:52:12Z)
• Analogical Relevance Index [9.861775841965386]
  データセットの最も重要な特徴に注目することは、機械学習(ML)とデータマイニングの両方で有用である。 データマイニングでは、重要な特徴を特定することは、データの理解を深めるだけでなく、視覚化にも不可欠である。 本稿では,類比に着想を得た特徴を同定する新しい方法を示す。
  論文  参考訳（メタデータ） (2023-01-08T23:53:47Z)
• Unified Contrastive Learning in Image-Text-Label Space [130.31947133453406]
  Unified Contrastive Learning (UniCL)は、意味的に豊かだが差別的な表現を学習する効果的な方法である。 UniCLスタンドアローンは、3つの画像分類データセットにまたがる教師あり学習手法に対抗して、純粋な画像ラベルデータに関する優れた学習者である。
  論文  参考訳（メタデータ） (2022-04-07T17:34:51Z)
• Can contrastive learning avoid shortcut solutions? [88.249082564465]
  暗黙的特徴修正(IFM)は、より広い種類の予測的特徴を捉えるために、対照的なモデルを導くために、正と負のサンプルを変更する方法である。 IFMは特徴抑制を低減し、その結果、視覚および医用画像タスクのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-06-21T16:22:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。