論文の概要: Generalization Analysis for Contrastive Representation Learning under Non-IID Settings

• arxiv url: http://arxiv.org/abs/2505.04937v2
• Date: Tue, 27 May 2025 11:15:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:19.360711
• Title: Generalization Analysis for Contrastive Representation Learning under Non-IID Settings
• Title（参考訳）: 非IID環境下でのコントラスト表現学習の一般化解析
• Authors: Nong Minh Hieu, Antoine Ledent,
• Abstract要約: 非$i.d.設定下でのContrastive Representation Learningフレームワークの一般化分析を行う。 各クラスに関連付けられた学習可能な表現のクラス被覆数の対数として、各クラスで必要となるサンプル数を示す境界を導出する。 次に、線形写像やニューラルネットワークなどの共通関数クラスに対する過剰なリスク境界を導出するために、本研究の主な結果を適用する。
• 参考スコア（独自算出の注目度）: 8.732260277121547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive Representation Learning (CRL) has achieved impressive success in various domains in recent years. Nevertheless, the theoretical understanding of the generalization behavior of CRL has remained limited. Moreover, to the best of our knowledge, the current literature only analyzes generalization bounds under the assumption that the data tuples used for contrastive learning are independently and identically distributed. However, in practice, we are often limited to a fixed pool of reusable labeled data points, making it inevitable to recycle data across tuples to create sufficiently large datasets. Therefore, the tuple-wise independence condition imposed by previous works is invalidated. In this paper, we provide a generalization analysis for the CRL framework under non-$i.i.d.$ settings that adheres to practice more realistically. Drawing inspiration from the literature on U-statistics, we derive generalization bounds which indicate the required number of samples in each class scales as the logarithm of the covering number of the class of learnable feature representations associated to each class. Next, we apply our main results to derive excess risk bounds for common function classes such as linear maps and neural networks.
• Abstract（参考訳）: コントラスト表現学習(CRL)は近年,様々な領域において顕著な成功を収めている。 それでも、CRLの一般化挙動の理論的理解は限定的である。 さらに、我々の知る限り、現在の文献は、対照的な学習に使用されるデータタプルが独立して同一に分散されているという仮定の下で、一般化境界を解析するのみである。 しかし、実際には、再利用可能なラベル付きデータポイントのプールに制限されることが多いため、タプル間でデータを再利用して十分な大規模なデータセットを作成するのは避けられない。 そのため、それまでの作業によって課されたタプルワイドな独立条件は無効となる。 本稿では、より現実的な実践に固執する非$i.d.$設定の下で、CRLフレームワークの一般化分析を提供する。 U-統計学の文献からインスピレーションを得て、各クラスに関連付けられた学習可能な特徴表現のクラス被覆数の対数として、各クラススケールで必要となるサンプル数を示す一般化境界を導出する。 次に、線形写像やニューラルネットワークなどの共通関数クラスに対する過剰なリスク境界を導出するために、本研究の主な結果を適用する。

関連論文リスト

• Global Convergence of Continual Learning on Non-IID Data [51.99584235667152]
  回帰モデルの連続学習のための総合的・包括的理論的解析を行う。 一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
  論文  参考訳（メタデータ） (2025-03-24T10:06:07Z)
• An MRP Formulation for Supervised Learning: Generalized Temporal Difference Learning Models [20.314426291330278]
  従来の統計的学習では、データポイントは独立して同じ分布(d)であると仮定される。 本稿では、データポイントを相互接続したものとして認識し、データモデリングにマルコフ報酬プロセス(MRP)を用いる、対照的な視点を示す。 我々は、強化学習(RL)における政治政策評価問題として、典型的教師付き学習を再構成し、一般化時間差学習アルゴリズム(TD)を解法として導入する。
  論文  参考訳（メタデータ） (2024-04-23T21:02:58Z)
• Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
  本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。 我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T17:05:14Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
  既存の一般化誤差境界は負の例の数$k$に線形に依存する。 対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
  論文  参考訳（メタデータ） (2023-02-24T01:03:56Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。