論文の概要: A Refined Generalization Analysis for Extreme Multi-class Supervised Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2605.07596v1
• Date: Fri, 08 May 2026 11:12:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.012109
• Title: A Refined Generalization Analysis for Extreme Multi-class Supervised Contrastive Representation Learning
• Title（参考訳）: 極多クラススーパービジョンコントラスト表現学習のための精製一般化解析
• Authors: Nong Minh Hieu, Antoine Ledent,
• Abstract要約: クラス上の分布に関係なく、クラス数$R$と同じ順序のサンプル複雑性で境界を証明します。 また、リスクテクティタクロスクラスの濃度をキャプチャする異なる推定器を定式化する。
• 参考スコア（独自算出の注目度）: 15.903047134800453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive Representation Learning (CRL) has achieved strong empirical success in multiple machine learning disciplines, yet its theoretical sample complexity remains poorly understood. Existing analyses usually assume that input tuples are identically and independently distributed, an assumption violated in most practical settings where contrastive tuples are constructed from a finite pool of labeled data, inducing dependencies among tuples. While one recent work analyzed this learning setting using U-Statistics to estimate the population risk, the techniques used therein require the risk of each class to concentrate uniformly, making excess risk bounds scale in the order of $ρ_{\min}^{-{1}/{2}}$ where $ρ_{\min}$ denotes the probability of the rarest class. Such a dependency can be overly pessimistic in the extreme multiclass settings where there are many tail classes which contribute minimally to the overall population risk. Our contributions are two-fold. Firstly, we improve upon the previous work and prove a bound with a sample complexity of the same order as the number of classes $R$, regardless of the distribution over classes. Furthermore, we formulate a different estimator that captures the concentration of the risk \textit{across classes}, enabling sharper bounds in extreme multi-class learning scenarios, especially where class distributions are long-tailed. Under mild assumptions on the class distributions, the resulting sample complexity is $\mathcal{O}(k)$ where $k$ is the number of samples per tuple.
• Abstract（参考訳）: Contrastive Representation Learning (CRL)は、複数の機械学習分野において強力な経験的成功を達成しているが、その理論的なサンプルの複雑さはいまだに理解されていない。 既存の分析では、入力タプルは同一かつ独立に分散されていると仮定されるが、これはコントラストのあるタプルが有限個のラベル付きデータのプールから構築され、タプル間の依存関係を誘導するという、ほとんどの実践的な前提に反する仮定である。 ある最近の研究では、U-Statisticsを用いて人口リスクを推定するためにこの学習環境を分析したが、その手法は各クラスのリスクを均一に集中させ、過剰なリスク境界を$ρ_{\min}^{-{1}/{2}}$の順にスケールさせる。 このような依存は、集団全体のリスクに最小限に寄与する多くの尾クラスが存在する極端な多クラス設定において過度に悲観的である。 私たちの貢献は2倍です。 まず、前回の作業を改善し、クラス上の分布によらず、クラス数$R$と同じ順序のサンプル複雑性とバウンダリを証明します。 さらに、リスク \textit{across class} の濃度を捉える異なる推定器を定式化し、極端な多クラス学習シナリオ、特にクラス分布が長い場合において、よりシャープな境界を実現する。 クラス分布に関する軽度の仮定では、結果として生じるサンプルの複雑さは$\mathcal{O}(k)$であり、$k$はタプルあたりのサンプルの数である。

関連論文リスト

• Is Multi-Distribution Learning as Easy as PAC Learning: Sharp Rates with Bounded Label Noise [26.182166506085114]
  k$分布の学習は、各分布が別々に学習されない限り、一定の雑音レベル下であっても、$k/2$で遅い速度でスケーリングすることを示した。 重要な技術的貢献は、ほぼ最適性を証明する統計的コストをキャプチャする構造化仮説テストフレームワークである。
  論文  参考訳（メタデータ） (2026-02-24T16:00:15Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Collaborative Learning with Different Labeling Functions [7.228285747845779]
  我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。 データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-16T04:32:22Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• On-Demand Sampling: Learning Optimally from Multiple Distributions [63.20009081099896]
  社会と現実世界の考察は、マルチディストリビューション学習パラダイムの台頭につながっている。 これらの学習パラダイムの最適なサンプル複雑性を確立し、このサンプル複雑性を満たすアルゴリズムを提供する。 アルゴリズムの設計と解析は,ゼロサムゲーム解決のためのオンライン学習手法の拡張によって実現されている。
  論文  参考訳（メタデータ） (2022-10-22T19:07:26Z)
• Sample Complexity Bounds for Robustly Learning Decision Lists against Evasion Attacks [25.832511407411637]
  敵機械学習の根本的な問題は、回避攻撃の存在下でどれだけのトレーニングデータが必要とされるかを定量化することである。 我々は、リプシッツ条件を満たす入力データ上の確率分布を扱う。 すべての固定$k$に対して、$k$-決定リストのクラスは、$log(n)$-bounded adversaryに対してサンプル複雑性を持つ。
  論文  参考訳（メタデータ） (2022-05-12T14:40:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。