論文の概要: Ranking Info Noise Contrastive Estimation: Boosting Contrastive Learning via Ranked Positives

• arxiv url: http://arxiv.org/abs/2201.11736v1
• Date: Thu, 27 Jan 2022 18:55:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 14:35:29.992377
• Title: Ranking Info Noise Contrastive Estimation: Boosting Contrastive Learning via Ranked Positives
• Title（参考訳）: ランキング情報ノイズのコントラスト推定:ランキング陽性によるコントラスト学習の促進
• Authors: David T. Hoffmann, Nadine Behrmann, Juergen Gall, Thomas Brox, Mehdi Noroozi
• Abstract要約: RINCEは類似度ランキングの情報を利用して、対応する埋め込み空間を学習する。 RINCEは,少なくともノイズの多いランキング情報が得られる場合に,標準InfoNCEと比較して適切な埋め込みを学習することを示す。
• 参考スコア（独自算出の注目度）: 44.962289510218646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces Ranking Info Noise Contrastive Estimation (RINCE), a new member in the family of InfoNCE losses that preserves a ranked ordering of positive samples. In contrast to the standard InfoNCE loss, which requires a strict binary separation of the training pairs into similar and dissimilar samples, RINCE can exploit information about a similarity ranking for learning a corresponding embedding space. We show that the proposed loss function learns favorable embeddings compared to the standard InfoNCE whenever at least noisy ranking information can be obtained or when the definition of positives and negatives is blurry. We demonstrate this for a supervised classification task with additional superclass labels and noisy similarity scores. Furthermore, we show that RINCE can also be applied to unsupervised training with experiments on unsupervised representation learning from videos. In particular, the embedding yields higher classification accuracy, retrieval rates and performs better in out-of-distribution detection than the standard InfoNCE loss.
• Abstract（参考訳）: 本稿では,正のサンプルのランク付けを保ったInfoNCE 損失の族に属する新しいメンバーである Ranking Info Noise Contrastive Estimation (RINCE) を紹介する。 標準的なInfoNCEの損失とは対照的に、トレーニングペアを類似した異なるサンプルに厳格に分離する必要があるため、RINCEは対応する埋め込み空間を学習するために類似度ランキングに関する情報を利用することができる。 提案する損失関数は、少なくとも騒がしいランキング情報が得られる場合や、正と負の定義がぼやけている場合において、標準情報と比較して好適な埋め込みを学習する。 超クラスラベルの追加とノイズの類似度スコアを備えた教師付き分類タスクでこれを実証する。 さらに,ビデオからの教師なし表現学習の実験により,教師なし学習にもRINCEが適用可能であることを示す。 特に、埋め込みにより、分類精度、検索レートが向上し、標準InfoNCE損失よりも分布外検出の精度が向上する。

関連論文リスト

• Rank Supervised Contrastive Learning for Time Series Classification [17.302643963704643]
  時系列分類を行うためにRankSCL(Rank Supervised Contrastive Learning)を提案する。 RankSCLは埋め込みスペースにおいて、ターゲットとする方法で生データを増強する。 異なるレベルの正のサンプルに対して異なる重みを割り当てるために、新しいランク損失が開発された。
  論文  参考訳（メタデータ） (2024-01-31T18:29:10Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• SINCERE: Supervised Information Noise-Contrastive Estimation REvisited [5.004880836963827]
  これまでの研究では、InfoNCEを拡張して利用可能なクラスラベルから学ぶために、教師付きコントラスト(SupCon)損失が示唆されていた。 本稿では,InfoNCE の教師付き拡張として Supervised InfoNCE Revisited (SINCERE) 損失を提案する。 実験により、SINCEREは、異なるクラスから埋め込みを分離し、転送学習の分類精度を向上させることが示されている。
  論文  参考訳（メタデータ） (2023-09-25T16:40:56Z)
• InfoNCE Loss Provably Learns Cluster-Preserving Representations [54.28112623495274]
  InfoNCEが有限個の負のサンプルで学習した表現は、データのクラスタに対して一致していることを示す。 我々の主な成果は、InfoNCEが有限個の負のサンプルで学んだ表現もまた、データのクラスタと一致していることを示すことである。
  論文  参考訳（メタデータ） (2023-02-15T19:45:35Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。 本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。 ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-03T15:09:19Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  既存のクロスエントロピー損失最小化問題は,基礎となるデータ分布のラベル条件エントロピーを本質的に学習することを示す。 ラベルと入力の相互情報を学習することで、ディープニューラルネットワーク分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-21T01:06:30Z)
• Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment [73.61888777504377]
  フル参照(FR)画像品質評価(IQA)は、その知覚的差異をプリズム品質基準で測定することにより、歪み画像の視覚的品質を評価する。 ラベルなしデータは、画像劣化または復元プロセスから容易に収集することができ、ラベルなしのトレーニングデータを利用してFR-IQA性能を高めることを奨励する。 本稿では, 半教師付き, 正の未ラベル学習(PU)を用いて, ラベルなしデータを活用し, オフレーヤの悪影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2022-04-19T09:10:06Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
  我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。 提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。