論文の概要: Tight PAC-Bayesian Risk Certificates for Contrastive Learning

• arxiv url: http://arxiv.org/abs/2412.03486v2
• Date: Thu, 05 Dec 2024 09:26:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 11:20:02.993749
• Title: Tight PAC-Bayesian Risk Certificates for Contrastive Learning
• Title（参考訳）: コントラスト学習のためのPACベイジアンリスク証明書
• Authors: Anna Van Elst, Debarghya Ghoshdastidar,
• Abstract要約: コントラスト表現学習のための非空白のPACベイズリスク証明書を開発した。 我々は、データ拡張や温度スケーリングを含むSimCLR固有の要因を取り入れ、対照的なゼロワンリスクのリスク証明書を導出する。
• 参考スコア（独自算出の注目度）: 6.944372188747803
• License:
• Abstract: Contrastive representation learning is a modern paradigm for learning representations of unlabeled data via augmentations -- precisely, contrastive models learn to embed semantically similar pairs of samples (positive pairs) closer than independently drawn samples (negative samples). In spite of its empirical success and widespread use in foundation models, statistical theory for contrastive learning remains less explored. Recent works have developed generalization error bounds for contrastive losses, but the resulting risk certificates are either vacuous (certificates based on Rademacher complexity or $f$-divergence) or require strong assumptions about samples that are unreasonable in practice. The present paper develops non-vacuous PAC-Bayesian risk certificates for contrastive representation learning, considering the practical considerations of the popular SimCLR framework. Notably, we take into account that SimCLR reuses positive pairs of augmented data as negative samples for other data, thereby inducing strong dependence and making classical PAC or PAC-Bayesian bounds inapplicable. We further refine existing bounds on the downstream classification loss by incorporating SimCLR-specific factors, including data augmentation and temperature scaling, and derive risk certificates for the contrastive zero-one risk. The resulting bounds for contrastive loss and downstream prediction are much tighter than those of previous risk certificates, as demonstrated by experiments on CIFAR-10.
• Abstract（参考訳）: 対照的表現学習(Contrastive representation learning)は、拡張(augmentation)を通じてラベルなしデータの表現を学習するための現代的なパラダイムであり、正確には、対照的なモデルは、独立に描画されたサンプル(負のサンプル)よりも近い意味的に類似したサンプル(正のペア)の組込みを学習する。 その経験的成功と基礎モデルで広く利用されているにもかかわらず、対照的な学習のための統計理論はいまだ研究されていない。 近年の研究では、対照的な損失に対する一般化誤差境界が開発されているが、結果として生じるリスク証明書は空白(Rademacherの複雑性に基づく証明か$f$-divergence)か、実際は不合理なサンプルに関する強い仮定を必要とする。 本稿では,SimCLRフレームワークの実践的考察を考慮し,非空き型PAC-Bayesianリスク証明書をコントラスト表現学習のために開発する。 特に、SimCLRは、他のデータに対する負のサンプルとして、正の強化データのペアを再利用することで、強い依存を誘発し、古典的なPACまたはPAC-ベイジアン境界を適用不能にする。 我々は、データ拡張や温度スケーリングを含むSimCLR固有の要因を取り入れて、下流の分類損失に関する既存の境界をさらに洗練し、対照的なゼロワンリスクに対するリスク証明書を導出する。 CIFAR-10の実験で示されたように、対照的な損失と下流予測の限界は、以前のリスク証明書よりもはるかに厳密である。

関連論文リスト

• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Error Bounds of Supervised Classification from Information-Theoretic Perspective [0.0]
  我々は、情報理論の観点から、教師付き分類にディープニューラルネットワークを使用する場合の予測リスクのバウンダリについて検討する。 経験的リスクをさらに分解したモデルリスクとフィッティングエラーを導入する。
  論文  参考訳（メタデータ） (2024-06-07T01:07:35Z)
• Combining T-learning and DR-learning: a framework for oracle-efficient estimation of causal contrasts [1.0896141997814233]
  異種因果コントラスト推定のための新しいフレームワークである効率的なプラグイン学習(EP)を導入する。 条件付き平均治療と条件付き相対リスクのEP学習者は、最先端の競争相手よりも優れている。
  論文  参考訳（メタデータ） (2024-02-03T00:47:50Z)
• A Generalized Unbiased Risk Estimator for Learning with Augmented Classes [70.20752731393938]
  ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。 理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
  論文  参考訳（メタデータ） (2023-06-12T06:52:04Z)
• Safe Deployment for Counterfactual Learning to Rank with Exposure-Based Risk Minimization [63.93275508300137]
  本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。 提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-26T15:54:23Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• SENTINEL: Taming Uncertainty with Ensemble-based Distributional Reinforcement Learning [6.587644069410234]
  モデルベース強化学習(RL)におけるリスク依存型シーケンシャル意思決定の検討 リスクの新たな定量化、すなわちEmphcomposite riskを導入する。 我々は、SENTINEL-Kが戻り分布をよりよく推定し、複合リスク推定と併用しながら、競合するRLアルゴリズムよりもリスクに敏感な性能を示すことを実験的に検証した。
  論文  参考訳（メタデータ） (2021-02-22T14:45:39Z)
• Learning from Similarity-Confidence Data [94.94650350944377]
  類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。 本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2021-02-13T07:31:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。