論文の概要: Robust Contrastive Learning With Theory Guarantee

• arxiv url: http://arxiv.org/abs/2311.09671v1
• Date: Thu, 16 Nov 2023 08:39:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 15:48:45.970441
• Title: Robust Contrastive Learning With Theory Guarantee
• Title（参考訳）: 理論保証によるロバストなコントラスト学習
• Authors: Ngoc N. Tran, Lam Tran, Hoang Phan, Anh Bui, Tung Pham, Toan Tran, Dinh Phung, Trung Le
• Abstract要約: コントラスト学習(CL)は,ラベル情報なしで意味のある特徴を抽出できる自己指導型学習パラダイムである。 我々の研究は厳密な理論を発展させ、教師なし損失のどの成分が教師なし損失の堅牢な改善に役立つかを識別する。
• 参考スコア（独自算出の注目度）: 25.57187964518637
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contrastive learning (CL) is a self-supervised training paradigm that allows us to extract meaningful features without any label information. A typical CL framework is divided into two phases, where it first tries to learn the features from unlabelled data, and then uses those features to train a linear classifier with the labeled data. While a fair amount of existing theoretical works have analyzed how the unsupervised loss in the first phase can support the supervised loss in the second phase, none has examined the connection between the unsupervised loss and the robust supervised loss, which can shed light on how to construct an effective unsupervised loss for the first phase of CL. To fill this gap, our work develops rigorous theories to dissect and identify which components in the unsupervised loss can help improve the robust supervised loss and conduct proper experiments to verify our findings.
• Abstract（参考訳）: コントラスト学習(CL)は,ラベル情報なしで意味のある特徴を抽出できる自己指導型学習パラダイムである。 典型的なCLフレームワークは2つのフェーズに分けられており、まずはラベル付きデータから特徴を学習し、次にそれらの特徴を使用してラベル付きデータで線形分類器を訓練する。 第1相の非教師的損失が第2相の教師的損失をどう支援するかを、かなりの量の理論的研究が分析しているが、非教師的損失とロバストな教師的損失との関連性は、CLの第1相の効果的な教師的損失の構築方法に光を当てることができない。 このギャップを埋めるために、我々の研究は厳密な理論を開発し、教師なし損失のどの成分が教師なし損失を改善するのに役立つかを特定し、その結果を検証するために適切な実験を行う。

関連論文リスト

• Dual-Head Knowledge Distillation: Enhancing Logits Utilization with an Auxiliary Head [38.898038672237746]
  本稿では,広く使用されている確率レベル損失関数の補足として,ロジットレベル損失関数を導入する。 新たに導入されたロジットレベルの損失と,それ以前の確率レベルの損失の合計は,性能劣化につながる。 本稿では, 線形分類器を2つの分類ヘッドに分割し, 損失の異なる2つの分類ヘッドに分割する, 二重知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-11-13T12:33:04Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Semi-Supervised End-To-End Contrastive Learning For Time Series Classification [10.635321868623883]
  時系列分類は、金融、医療、センサーデータ分析など、さまざまな分野において重要な課題である。 SLOTS(Semi-supervised Learning fOr Time clasSification)と呼ばれるエンドツーエンドモデルを提案する。
  論文  参考訳（メタデータ） (2023-10-13T04:22:21Z)
• Rethinking Weak Supervision in Helping Contrastive Learning [19.5649824524209]
  コントラスト学習における半教師付き情報と雑音ラベル付き情報との機械的差異について検討する。 具体的には、教師付きと教師なしのコントラスト的損失の協調訓練の最も直感的なパラダイムについて検討する。 半教師付きラベルが下流誤差境界を改善するのに対し、ノイズラベルはそのようなパラダイムの下では限定的な効果を持つことを示す。
  論文  参考訳（メタデータ） (2023-06-07T05:18:27Z)
• Robustness of Unsupervised Representation Learning without Labels [92.90480374344777]
  モデルとタスクに依存しない,ラベルのない,教師なしのロバストネス尺度のファミリーを提案する。 本研究は, 線形プローブによる検証を行い, MOCOv2の場合, 対向トレーニングの結果が3倍の精度で得られたことを示す。
  論文  参考訳（メタデータ） (2022-10-08T18:03:28Z)
• Semi-Supervised Learning with Mutual Distillation for Monocular Depth Estimation [27.782150368174413]
  それぞれの損失に対して異なる2つのネットワーク分岐を構築し, 相互蒸留損失関数を用いて相互蒸留を行う。 我々は,最新の手法によるフレームワークの有効性を実証する実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-03-18T04:28:58Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)
• Leveraged Weighted Loss for Partial Label Learning [64.85763991485652]
  部分ラベル学習は、各インスタンスに候補ラベルのセットが割り当てられるデータを扱うが、そのうちの1つだけが真実である。 部分ラベルからの学習に関する多くの方法論の研究にもかかわらず、リスク一貫した性質に関する理論的理解はいまだに欠けている。 本稿では,テキスト重み付き損失(LW)と呼ばれる損失関数のファミリーを提案する。これはまず,部分ラベル上の損失と非部分的な損失とのトレードオフを検討するために,レバレッジパラメータ$beta$を導入する。
  論文  参考訳（メタデータ） (2021-06-10T13:25:13Z)
• A Commentary on the Unsupervised Learning of Disentangled Representations [63.042651834453544]
  不整合表現の教師なし学習の目標は、データの変化の独立した説明的要因を、監督にアクセスできることなく分離することである。 本稿では,非教師なしの非教師付き表現の学習が帰納的バイアスなしでは基本的に不可能であることを示す理論的結果について議論する。
  論文  参考訳（メタデータ） (2020-07-28T13:13:45Z)
• Structured Consistency Loss for semi-supervised semantic segmentation [1.4146420810689415]
  整合性喪失は、半教師付き学習の最近の研究において、問題解決において重要な役割を担っている。 本稿では,既存の研究の限界に対処する構造的整合損失を提案する。 我々は,セマンティックセグメンテーションにおける最先端の半教師あり学習の優位性を初めて提示する。
  論文  参考訳（メタデータ） (2020-01-14T07:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。