論文の概要: SINCERE: Supervised Information Noise-Contrastive Estimation REvisited

• arxiv url: http://arxiv.org/abs/2309.14277v3
• Date: Tue, 2 Jul 2024 16:02:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 08:20:17.482308
• Title: SINCERE: Supervised Information Noise-Contrastive Estimation REvisited
• Title（参考訳）: SINCERE: 情報ノイズコントラスト推定の再検討
• Authors: Patrick Feeney, Michael C. Hughes,
• Abstract要約: これまでの研究では、InfoNCEを拡張して利用可能なクラスラベルから学ぶために、教師付きコントラスト(SupCon)損失が示唆されていた。 本稿では,InfoNCE の教師付き拡張として Supervised InfoNCE Revisited (SINCERE) 損失を提案する。 実験により、SINCEREは、異なるクラスから埋め込みを分離し、転送学習の分類精度を向上させることが示されている。
• 参考スコア（独自算出の注目度）: 5.004880836963827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The information noise-contrastive estimation (InfoNCE) loss function provides the basis of many self-supervised deep learning methods due to its strong empirical results and theoretic motivation. Previous work suggests a supervised contrastive (SupCon) loss to extend InfoNCE to learn from available class labels. This SupCon loss has been widely-used due to reports of good empirical performance. However, in this work we find that the prior SupCon loss formulation has questionable justification because it can encourage some images from the same class to repel one another in the learned embedding space. This problematic intra-class repulsion gets worse as the number of images sharing one class label increases. We propose the Supervised InfoNCE REvisited (SINCERE) loss as a theoretically-justified supervised extension of InfoNCE that eliminates intra-class repulsion. Experiments show that SINCERE leads to better separation of embeddings from different classes and improves transfer learning classification accuracy. We additionally utilize probabilistic modeling to derive an information-theoretic bound that relates SINCERE loss to the symmeterized KL divergence between data-generating distributions for a target class and all other classes.
• Abstract（参考訳）: The information noise-contrastive Estimation (InfoNCE) loss function is a basis of many self-supervised deep learning method because its strong empirical results and theoretic motivation。 これまでの研究では、InfoNCEを拡張して利用可能なクラスラベルから学ぶために、教師付きコントラスト(SupCon)損失が示唆されていた。 このSupConの損失は、優れた経験的性能の報告のために広く利用されている。 しかし、この研究で、SupConの損失の定式化が疑問視されているのは、同じクラスのイメージが学習された埋め込み空間において互いに反発するように促すことができるからである。 1つのクラスラベルを共有する画像の数が増加するにつれて、この問題によるクラス内の反発は悪化する。 我々は、クラス内反発を排除したInfoNCEの理論的に調整された拡張として、Supervised InfoNCE Revisited (SINCERE)損失を提案する。 実験により、SINCEREは、異なるクラスから埋め込みを分離し、転送学習の分類精度を向上させることが示されている。 さらに、確率論的モデリングを用いて、SINCERE損失と、ターゲットクラスおよび他のクラスに対するデータ生成分布間の対称性付きKL分散とを関連付ける情報理論境界を導出する。

関連論文リスト

• CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
  FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。 より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
  論文  参考訳（メタデータ） (2024-10-08T02:23:16Z)
• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• Few-shot Object Detection with Refined Contrastive Learning [4.520231308678286]
  Refined Contrastive Learning (FSRC) を用いた新しい複数ショットオブジェクト検出法を提案する。 コンフリブルクラスを含む新しいクラスからResemblance Groupを見つけるために、事前決定コンポーネントが導入された。 RCLはクラス間の距離を増やすために、このクラスのグループで指摘される。
  論文  参考訳（メタデータ） (2022-11-24T09:34:20Z)
• Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment [73.61888777504377]
  フル参照(FR)画像品質評価(IQA)は、その知覚的差異をプリズム品質基準で測定することにより、歪み画像の視覚的品質を評価する。 ラベルなしデータは、画像劣化または復元プロセスから容易に収集することができ、ラベルなしのトレーニングデータを利用してFR-IQA性能を高めることを奨励する。 本稿では, 半教師付き, 正の未ラベル学習(PU)を用いて, ラベルなしデータを活用し, オフレーヤの悪影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2022-04-19T09:10:06Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Ranking Info Noise Contrastive Estimation: Boosting Contrastive Learning via Ranked Positives [44.962289510218646]
  RINCEは類似度ランキングの情報を利用して、対応する埋め込み空間を学習する。 RINCEは,少なくともノイズの多いランキング情報が得られる場合に,標準InfoNCEと比較して適切な埋め込みを学習することを示す。
  論文  参考訳（メタデータ） (2022-01-27T18:55:32Z)
• Studying the Interplay between Information Loss and Operation Loss in Representations for Classification [15.369895042965261]
  情報理論の手法は、学習と意思決定のための特徴の設計において広く採用されている。 本研究は,学習における操作的十分性を実現するために,情報十分性という代替概念を採用することができることを示す。
  論文  参考訳（メタデータ） (2021-12-30T23:17:05Z)
• Categorical Relation-Preserving Contrastive Knowledge Distillation for Medical Image Classification [75.27973258196934]
  そこで本研究では,一般的な平均教師モデルであるCRCKD(Categorical Relation-Reserving Contrastive Knowledge Distillation)アルゴリズムを提案する。 この正規化により、学生モデルの特徴分布はクラス内類似度が高く、クラス間分散を示す。 CCDとCRPの貢献により、我々のCRCKDアルゴリズムはより包括的に関係知識を蒸留することができる。
  論文  参考訳（メタデータ） (2021-07-07T13:56:38Z)
• Simpler, Faster, Stronger: Breaking The log-K Curse On Contrastive Learners With FlatNCE [104.37515476361405]
  比較学習者が小さいバッチサイズで失敗する理由を数学的に明らかにする。 この問題を解決するために,FlatNCEという新たな非ネイティブコントラスト目標を提案する。
  論文  参考訳（メタデータ） (2021-07-02T15:50:43Z)
• Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect [95.37587481952487]
  長い尾の分類は、大規模なディープラーニングの鍵である。 既存の手法は主に、基本的な理論を欠いた再重み付け/再サンプリングに基づいている。 本稿では,従来の手法の理由を解明するだけでなく,新たな原理的解を導出する因果推論の枠組みを確立する。
  論文  参考訳（メタデータ） (2020-09-28T00:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。