論文の概要: Statistical Consistency and Generalization of Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2605.02116v1
• Date: Mon, 04 May 2026 00:38:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.089674
• Title: Statistical Consistency and Generalization of Contrastive Representation Learning
• Title（参考訳）: コントラスト表現学習の統計的一貫性と一般化
• Authors: Yuanfan Li, Xiyuan Wei, Tianbao Yang, Yiming Ying,
• Abstract要約: コントラスト表現学習のための統一統計学習理論を開発した。 下流タスクに対しては,AUC型集団基準を用いて検索品質を評価する。 我々は,過剰なコントラストリスクと過剰な検索最適度を定量的に関連づけるエンファンキャリレーション型不等式を確立する。
• 参考スコア（独自算出の注目度）: 42.5330360355431
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive representation learning (CRL) underpins many modern foundation models. Despite recent theoretical progress, existing analyses suffer from several key limitations: (i) the statistical consistency of CRL remains poorly understood; (ii) available generalization bounds deteriorate as the number of negative samples increases, contradicting the empirical benefits of large negative sets; and (iii) the retrieval performance of CRL has received limited theoretical attention. In this paper, we develop a unified statistical learning theory for CRL. For downstream tasks, we evaluate retrieval quality using an AUC-type population criterion and show that the contrastive loss is \emph{statistically consistent} with optimal ranking. We further establish a \emph{calibration-style inequality} that quantitatively relates excess contrastive risk to excess retrieval suboptimality. For upstream training, we study both supervised and self-supervised contrastive objectives and derive generalization bounds of order $O(1/m + 1/\sqrt{n})$ and $O(1/\sqrt{m} + 1/\sqrt{n})$, respectively, where $m$ denotes the number of negative samples and $n$ the number of anchor points. These bounds not only explain the empirical advantages of large negative sets but also reveal an explicit trade-off between $m$ and $n$. Extensive experiments on large-scale vision--language models corroborate our theoretical predictions.
• Abstract（参考訳）: コントラスト表現学習(CRL)は多くの現代基礎モデルの基礎となっている。 最近の理論的進歩にもかかわらず、既存の分析はいくつかの重要な限界に悩まされている。 (i) CRLの統計的整合性は未だよく理解されていない。 (ii) 有効一般化境界は、負のサンプルの数が増加するにつれて悪化し、大きな負の集合の経験的利益と矛盾する。 (3)CRLの検索性能は,理論的に限定的に注目されている。 本稿では,CRLのための統一統計学習理論を開発する。 下流タスクでは,AUC型集団基準を用いて検索品質を評価し,比較的損失が最適ランキングと一致していることを示す。 さらに、過剰なコントラストリスクと過剰な検索最適度を定量的に関連付ける「emph{calibration-style inequality」を確立する。 上流トレーニングでは、教師付きおよび自己監督型比較対象の両方を研究し、次数$O(1/m + 1/\sqrt{n})$と$O(1/\sqrt{m} + 1/\sqrt{n})$の一般化境界を導出する。 これらの境界は、大きな負集合の経験的な利点を説明するだけでなく、$m$と$n$の間の明確なトレードオフも示している。 大規模視覚モデルに関する大規模な実験は、我々の理論的予測を裏付ける。

関連論文リスト

• Dissecting Long-Chain-of-Thought Reasoning Models: An Empirical Study [91.78803511141975]
  この研究は、強化学習のスケーリングにおける正と負のサンプルの役割に焦点を当てている。 グループ相対的政策最適化において、サンプルの半数以上がゼロの優位性を持つような実質的なデータ非効率性を同定する。 本研究では,様々な推論モデルとベンチマークの不安定な性能について検討し,不明瞭な結果を伴う不確実な問題に対する不安定性について考察した。
  論文  参考訳（メタデータ） (2025-06-05T11:47:10Z)
• Generalization Analysis for Supervised Contrastive Representation Learning under Non-IID Settings [8.732260277121547]
  非$i.d.$設定でContrastive Representation Learningフレームワークの一般化分析を行う。 そのクラスに関連する学習可能な表現のクラスを包含する数の対数として、各クラスで必要となるサンプル数を示す境界を導出する。 次に、線形写像やニューラルネットワークなどの共通関数クラスに対する過剰なリスク境界を導出するために、本研究の主な結果を適用する。
  論文  参考訳（メタデータ） (2025-05-08T04:26:41Z)
• A Statistical Theory of Contrastive Learning via Approximate Sufficient Statistics [29.162540474549473]
  我々はデータ拡張に基づくコントラスト学習を解析するための新しい理論フレームワークを開発した。 我々は,SimCLRなどのコントラスト損失を最小化すれば,ほぼ十分エンコーダが得られることを示す。
  論文  参考訳（メタデータ） (2025-03-21T21:07:18Z)
• How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance [64.1656365676171]
  グループ不均衡は経験的リスク最小化において既知の問題である。 本稿では,個々の集団がサンプルの複雑さ,収束率,平均および群レベルの試験性能に与える影響を定量化する。
  論文  参考訳（メタデータ） (2024-03-12T04:38:05Z)
• On Regression in Extreme Regions [0.7974430263940756]
  我々は、余変数の観測されていない尾に外挿、あるいは領域外一般化を目的とした統計的学習理論の枠組みを確立する。 本稿では,Vapnik-Chervonenkisクラスから選択した予測器を用いて,非パラメトリック最小二乗回帰のスタイリング問題に対処する。 本研究では, 余剰リスクの観点から, テール領域の予測性能を定量化し, 明確なバイアス分散分解を伴う有限サンプルリスクとして提示する。
  論文  参考訳（メタデータ） (2023-03-06T12:55:38Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Leverage the Average: an Analysis of KL Regularization in RL [44.01222241795292]
  Kullback-Leibler (KL) 正則化がq-値を暗黙的に平均化することを示す。 非常に強力なパフォーマンスバウンダリを提供しており、最初に2つの望ましい側面を組み合わせています。 我々の仮定のいくつかはニューラルネットワークには当てはまらないので、この理論解析を広範な実証研究で補完する。
  論文  参考訳（メタデータ） (2020-03-31T10:55:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。