論文の概要: SINCERE: Supervised Information Noise-Contrastive Estimation REvisited

• arxiv url: http://arxiv.org/abs/2309.14277v1
• Date: Mon, 25 Sep 2023 16:40:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 14:40:34.833010
• Title: SINCERE: Supervised Information Noise-Contrastive Estimation REvisited
• Title（参考訳）: SINCERE: 情報ノイズコントラスト推定の再検討
• Authors: Patrick Feeney and Michael C. Hughes
• Abstract要約: これまでの研究では、InfoNCEを拡張して利用可能なクラスラベルから学ぶために、教師付きコントラスト(SupCon)損失が示唆されていた。 この研究では、SupConの特定の損失は、同じクラスのイメージが互いに撃退されることを奨励するので、疑問の余地のある理論的正当性を持っていることを示唆する。 我々は,SINCERE (Supervised InfoNCE Revisited) の損失を治療として提案する。
• 参考スコア（独自算出の注目度）: 5.9126037043242405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The information noise-contrastive estimation (InfoNCE) loss function provides the basis of many self-supervised deep learning methods due to its strong empirical results and theoretic motivation. Previous work suggests a supervised contrastive (SupCon) loss to extend InfoNCE to learn from available class labels. This SupCon loss has been widely-used due to reports of good empirical performance. However, in this work we suggest that the specific SupCon loss formulated by prior work has questionable theoretic justification, because it can encourage images from the same class to repel one another in the learned embedding space. This problematic behavior gets worse as the number of inputs sharing one class label increases. We propose the Supervised InfoNCE REvisited (SINCERE) loss as a remedy. SINCERE is a theoretically justified solution for a supervised extension of InfoNCE that never causes images from the same class to repel one another. We further show that minimizing our new loss is equivalent to maximizing a bound on the KL divergence between class conditional embedding distributions. We compare SINCERE and SupCon losses in terms of learning trajectories during pretraining and in ultimate linear classifier performance after finetuning. Our proposed SINCERE loss better separates embeddings from different classes during pretraining while delivering competitive accuracy.
• Abstract（参考訳）: information noise-contrastive estimation (infonce) loss functionは、その強い経験的結果と理論的動機から、多くの自己教師付きディープラーニング手法の基礎を提供する。 以前の研究は、利用可能なクラスラベルから学習するためのインフォデンスを拡張するために、教師付きコントラスト(supcon)損失を示唆している。 このSupConの損失は、優れた経験的性能の報告のために広く利用されている。 しかし,本研究では,先行研究によって定式化された特定の超越損失は,同一クラスの画像が学習された埋め込み空間で互いに撃退することを促進できるため,理論的な正当性に疑問が持たれていることを示唆する。 この問題行動は、1つのクラスラベルを共有するインプットの数が増えるにつれて悪化する。 我々は,SINCERE (Supervised InfoNCE Revisited) の損失を治療として提案する。 SINCEREはInfoNCEの教師付き拡張に対する理論的に正当化されたソリューションであり、同じクラスのイメージが互いに撃退されることはない。 さらに,新たな損失の最小化は,クラス条件埋め込み分布間のKL分散の最大化と同値であることを示す。 我々は,SINCEREとSupConの損失を,事前学習時の学習軌跡と微調整後の究極の線形分類器の性能で比較した。 提案したSINCERE損失は,事前トレーニング中に異なるクラスからの埋め込みを分離し,競争精度を向上する。

関連論文リスト

• CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
  FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。 より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
  論文  参考訳（メタデータ） (2024-10-08T02:23:16Z)
• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• Few-shot Object Detection with Refined Contrastive Learning [4.520231308678286]
  Refined Contrastive Learning (FSRC) を用いた新しい複数ショットオブジェクト検出法を提案する。 コンフリブルクラスを含む新しいクラスからResemblance Groupを見つけるために、事前決定コンポーネントが導入された。 RCLはクラス間の距離を増やすために、このクラスのグループで指摘される。
  論文  参考訳（メタデータ） (2022-11-24T09:34:20Z)
• Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment [73.61888777504377]
  フル参照(FR)画像品質評価(IQA)は、その知覚的差異をプリズム品質基準で測定することにより、歪み画像の視覚的品質を評価する。 ラベルなしデータは、画像劣化または復元プロセスから容易に収集することができ、ラベルなしのトレーニングデータを利用してFR-IQA性能を高めることを奨励する。 本稿では, 半教師付き, 正の未ラベル学習(PU)を用いて, ラベルなしデータを活用し, オフレーヤの悪影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2022-04-19T09:10:06Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Ranking Info Noise Contrastive Estimation: Boosting Contrastive Learning via Ranked Positives [44.962289510218646]
  RINCEは類似度ランキングの情報を利用して、対応する埋め込み空間を学習する。 RINCEは,少なくともノイズの多いランキング情報が得られる場合に,標準InfoNCEと比較して適切な埋め込みを学習することを示す。
  論文  参考訳（メタデータ） (2022-01-27T18:55:32Z)
• Studying the Interplay between Information Loss and Operation Loss in Representations for Classification [15.369895042965261]
  情報理論の手法は、学習と意思決定のための特徴の設計において広く採用されている。 本研究は,学習における操作的十分性を実現するために,情報十分性という代替概念を採用することができることを示す。
  論文  参考訳（メタデータ） (2021-12-30T23:17:05Z)
• Categorical Relation-Preserving Contrastive Knowledge Distillation for Medical Image Classification [75.27973258196934]
  そこで本研究では,一般的な平均教師モデルであるCRCKD(Categorical Relation-Reserving Contrastive Knowledge Distillation)アルゴリズムを提案する。 この正規化により、学生モデルの特徴分布はクラス内類似度が高く、クラス間分散を示す。 CCDとCRPの貢献により、我々のCRCKDアルゴリズムはより包括的に関係知識を蒸留することができる。
  論文  参考訳（メタデータ） (2021-07-07T13:56:38Z)
• Simpler, Faster, Stronger: Breaking The log-K Curse On Contrastive Learners With FlatNCE [104.37515476361405]
  比較学習者が小さいバッチサイズで失敗する理由を数学的に明らかにする。 この問題を解決するために,FlatNCEという新たな非ネイティブコントラスト目標を提案する。
  論文  参考訳（メタデータ） (2021-07-02T15:50:43Z)
• Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect [95.37587481952487]
  長い尾の分類は、大規模なディープラーニングの鍵である。 既存の手法は主に、基本的な理論を欠いた再重み付け/再サンプリングに基づいている。 本稿では,従来の手法の理由を解明するだけでなく,新たな原理的解を導出する因果推論の枠組みを確立する。
  論文  参考訳（メタデータ） (2020-09-28T00:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。