論文の概要: Towards Efficient Contrastive PAC Learning

• arxiv url: http://arxiv.org/abs/2502.15962v1
• Date: Fri, 21 Feb 2025 21:51:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:56:39.919501
• Title: Towards Efficient Contrastive PAC Learning
• Title（参考訳）: コントラスト型PAC学習の効率化に向けて
• Authors: Jie Shen,
• Abstract要約: 我々はPAC学習の枠組みの下で対照的な学習について研究する。 本稿では,線形表現の基本概念の対照的な学習について考察する。 我々は,Rademacherの複雑性に基づいた保証を確立し,それとPACの保証を,ある対照的な大マルジン条件下で接続する。
• 参考スコア（独自算出の注目度）: 6.209600119671225
• License:
• Abstract: We study contrastive learning under the PAC learning framework. While a series of recent works have shown statistical results for learning under contrastive loss, based either on the VC-dimension or Rademacher complexity, their algorithms are inherently inefficient or not implying PAC guarantees. In this paper, we consider contrastive learning of the fundamental concept of linear representations. Surprisingly, even under such basic setting, the existence of efficient PAC learners is largely open. We first show that the problem of contrastive PAC learning of linear representations is intractable to solve in general. We then show that it can be relaxed to a semi-definite program when the distance between contrastive samples is measured by the $\ell_2$-norm. We then establish generalization guarantees based on Rademacher complexity, and connect it to PAC guarantees under certain contrastive large-margin conditions. To the best of our knowledge, this is the first efficient PAC learning algorithm for contrastive learning.
• Abstract（参考訳）: PAC学習の枠組みに基づき,コントラスト学習について検討する。 最近の一連の研究は、VC次元またはラデマッハの複雑さに基づいて、対照的な損失の下での学習の統計的結果を示しているが、それらのアルゴリズムは本質的に非効率であるか、PACの保証を示唆していない。 本稿では,線形表現の基本概念の対照的な学習について考察する。 驚くべきことに、そのような基本的な設定下であっても、効率的なPAC学習者が存在することは、大半がオープンである。 まず、線形表現の対照的なPAC学習の問題は一般に解決可能であることを示す。 次に、コントラスト標本間の距離が$\ell_2$-normで測定された場合、半定値プログラムに緩和できることを示す。 次に、Rademacher複雑性に基づいて一般化保証を確立し、ある対照的な大マルジン条件下でPAC保証に接続する。 我々の知る限りでは、これはコントラスト学習のための最初の効率的なPAC学習アルゴリズムである。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation [4.239829789304117]
  最適学習の設定にはPAC-ベイズ理論を用いる。 証明可能な一般化保証付き最適化アルゴリズムを学習する最初のフレームワークを提示する。 学習アルゴリズムは、(決定論的)最悪のケース分析から得られた関連アルゴリズムを確実に上回ります。
  論文  参考訳（メタデータ） (2024-04-04T08:24:57Z)
• PAC Verification of Statistical Algorithms [0.10878040851637999]
  本研究では,PAC学習目標を満たす仮説(機械学習モデル)を対話的証明を用いて検証する,PAC検証の設定を開発する。 我々は、$mathbbR$を超える間隔の和のPAC検証のためのプロトコルを提案し、そのタスクの提案したプロトコルを改善し、より低い境界の$d$への依存と一致させる。 最終結果は,クエリの制約を満たす統計的アルゴリズムの検証のためのプロトコルである。
  論文  参考訳（メタデータ） (2022-11-28T23:57:27Z)
• PAC-Bayesian Learning of Optimization Algorithms [6.624726878647541]
  PAC-Bayes理論を学習最適化の設定に適用する。 証明可能な一般化保証(PAC-bounds)と高収束確率と高収束速度との間の明示的なトレードオフを持つ最適化アルゴリズムを学習する。 この結果は指数族に基づく一般の非有界損失関数に対してPAC-Bayes境界に依存する。
  論文  参考訳（メタデータ） (2022-10-20T09:16:36Z)
• Uniform-PAC Bounds for Reinforcement Learning with Linear Function Approximation [92.3161051419884]
  線形関数近似を用いた強化学習について検討する。 既存のアルゴリズムは、高い確率的後悔と/またはおよそ正当性(PAC)サンプルの複雑さの保証しか持たない。 我々はFLUTEと呼ばれる新しいアルゴリズムを提案し、高い確率で最適ポリシーへの均一PAC収束を享受する。
  論文  参考訳（メタデータ） (2021-06-22T08:48:56Z)
• Self-Bounding Majority Vote Learning Algorithms by the Direct Minimization of a Tight PAC-Bayesian C-Bound [0.0]
  C-BoundのPAC-Bayesian保証に基づく自己拘束型多数決学習アルゴリズムを導出する。 私たちのアルゴリズムはスケーラブルで、非空き保証と組み合わせた正確な予測器につながります。
  論文  参考訳（メタデータ） (2021-04-28T08:23:18Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)
• A Limitation of the PAC-Bayes Framework [32.24251308425503]
  我々はPAC-Bayesフレームワークの制限を提示する。 PAC-Bayes解析には適さない簡単な学習課題を実演する。
  論文  参考訳（メタデータ） (2020-06-24T06:36:00Z)
• Probably Approximately Correct Constrained Learning [135.48447120228658]
  我々は、ほぼ正しい学習フレームワーク(PAC)に基づく一般化理論を開発する。 PAC学習可能なクラスも制約のある学習者であるという意味では,学習者の導入は学習問題を難しくするものではないことを示す。 このソリューションの特性を分析し,制約付き学習が公平でロバストな分類における問題にどのように対処できるかを説明する。
  論文  参考訳（メタデータ） (2020-06-09T19:59:29Z)
• PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
  PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。 我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
  論文  参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。