論文の概要: SINCERE: Supervised Information Noise-Contrastive Estimation REvisited
- arxiv url: http://arxiv.org/abs/2309.14277v2
- Date: Fri, 16 Feb 2024 20:44:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 06:00:39.370040
- Title: SINCERE: Supervised Information Noise-Contrastive Estimation REvisited
- Title(参考訳): SINCERE: 情報ノイズコントラスト推定の再検討
- Authors: Patrick Feeney and Michael C. Hughes
- Abstract要約: これまでの研究では、InfoNCEを拡張して利用可能なクラスラベルから学ぶために、教師付きコントラスト(SupCon)損失が示唆されていた。
本稿では,InfoNCE の教師付き拡張として Supervised InfoNCE Revisited (SINCERE) 損失を提案する。
実験により、SINCEREは、異なるクラスからの埋め込みをより分離し、教師付きおよび転送学習のための競合的な分類精度を提供する。
- 参考スコア(独自算出の注目度): 5.9126037043242405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The information noise-contrastive estimation (InfoNCE) loss function provides
the basis of many self-supervised deep learning methods due to its strong
empirical results and theoretic motivation. Previous work suggests a supervised
contrastive (SupCon) loss to extend InfoNCE to learn from available class
labels. However, in this work we find that the prior SupCon loss formulation
has questionable justification because it can encourage some images from the
same class to repel one another in the learned embedding space. We propose the
Supervised InfoNCE REvisited (SINCERE) loss as a theoretically-justified
supervised extension of InfoNCE that never causes images from the same class to
repel one another. Experiments show that SINCERE leads to better separation of
embeddings from different classes while delivering competitive classification
accuracy for supervised and transfer learning. We further show an
information-theoretic bound that relates SINCERE loss to the symmeterized KL
divergence between data-generating distributions for a target class and all
other classes.
- Abstract(参考訳): information noise-contrastive estimation (infonce) loss functionは、その強い経験的結果と理論的動機から、多くの自己教師付きディープラーニング手法の基礎を提供する。
以前の研究は、利用可能なクラスラベルから学習するためのインフォデンスを拡張するために、教師付きコントラスト(supcon)損失を示唆している。
しかし、本研究では、事前の超越損失定式化は、同じクラスからのイメージを学習された埋め込み空間で互いに撃退することを奨励するので、疑わしい正当性を有することが分かる。
我々は,同じクラスの画像が互いに撃退されることを決して起こさない,理論的に正当化されたインフォデンス拡張として,教師付きインフォデンス再訪( duere)損失を提案する。
実験により、SINCEREは異なるクラスからの埋め込みをより分離し、教師付きおよび移動学習のための競争的分類精度を提供する。
さらに、SINCEREの損失と、対象クラスと他のクラスに対するデータ生成分布間の対称性付きKLのばらつきを関連付ける情報理論境界を示す。
関連論文リスト
- InfoNCE Loss Provably Learns Cluster-Preserving Representations [54.28112623495274]
InfoNCEが有限個の負のサンプルで学習した表現は、データのクラスタに対して一致していることを示す。
我々の主な成果は、InfoNCEが有限個の負のサンプルで学んだ表現もまた、データのクラスタと一致していることを示すことである。
論文 参考訳(メタデータ) (2023-02-15T19:45:35Z) - Few-shot Object Detection with Refined Contrastive Learning [4.520231308678286]
Refined Contrastive Learning (FSRC) を用いた新しい複数ショットオブジェクト検出法を提案する。
コンフリブルクラスを含む新しいクラスからResemblance Groupを見つけるために、事前決定コンポーネントが導入された。
RCLはクラス間の距離を増やすために、このクラスのグループで指摘される。
論文 参考訳(メタデータ) (2022-11-24T09:34:20Z) - Integrating Prior Knowledge in Contrastive Learning with Kernel [4.050766659420731]
我々は、カーネル理論を用いて、(i)事前知識の統合を可能にし、(i)元のInfoNCE損失における負の正の結合を取り除くという、分離均一性(decoupled uniformity)と呼ばれる新しい損失を提案する。
教師なしの環境では、CLは自然画像と医用画像の両方で表現を改善するために生成モデルから恩恵を受けることを実証的に実証する。
論文 参考訳(メタデータ) (2022-06-03T15:43:08Z) - Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。
因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。
また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
論文 参考訳(メタデータ) (2022-03-29T13:07:53Z) - Generalizable Information Theoretic Causal Representation [37.54158138447033]
本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。
この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
論文 参考訳(メタデータ) (2022-02-17T00:38:35Z) - Ranking Info Noise Contrastive Estimation: Boosting Contrastive Learning
via Ranked Positives [44.962289510218646]
RINCEは類似度ランキングの情報を利用して、対応する埋め込み空間を学習する。
RINCEは,少なくともノイズの多いランキング情報が得られる場合に,標準InfoNCEと比較して適切な埋め込みを学習することを示す。
論文 参考訳(メタデータ) (2022-01-27T18:55:32Z) - Studying the Interplay between Information Loss and Operation Loss in
Representations for Classification [15.369895042965261]
情報理論の手法は、学習と意思決定のための特徴の設計において広く採用されている。
本研究は,学習における操作的十分性を実現するために,情報十分性という代替概念を採用することができることを示す。
論文 参考訳(メタデータ) (2021-12-30T23:17:05Z) - Categorical Relation-Preserving Contrastive Knowledge Distillation for
Medical Image Classification [75.27973258196934]
そこで本研究では,一般的な平均教師モデルであるCRCKD(Categorical Relation-Reserving Contrastive Knowledge Distillation)アルゴリズムを提案する。
この正規化により、学生モデルの特徴分布はクラス内類似度が高く、クラス間分散を示す。
CCDとCRPの貢献により、我々のCRCKDアルゴリズムはより包括的に関係知識を蒸留することができる。
論文 参考訳(メタデータ) (2021-07-07T13:56:38Z) - Simpler, Faster, Stronger: Breaking The log-K Curse On Contrastive
Learners With FlatNCE [104.37515476361405]
比較学習者が小さいバッチサイズで失敗する理由を数学的に明らかにする。
この問題を解決するために,FlatNCEという新たな非ネイティブコントラスト目標を提案する。
論文 参考訳(メタデータ) (2021-07-02T15:50:43Z) - Long-Tailed Classification by Keeping the Good and Removing the Bad
Momentum Causal Effect [95.37587481952487]
長い尾の分類は、大規模なディープラーニングの鍵である。
既存の手法は主に、基本的な理論を欠いた再重み付け/再サンプリングに基づいている。
本稿では,従来の手法の理由を解明するだけでなく,新たな原理的解を導出する因果推論の枠組みを確立する。
論文 参考訳(メタデータ) (2020-09-28T00:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。