論文の概要: Generalization Analysis for Contrastive Representation Learning
- arxiv url: http://arxiv.org/abs/2302.12383v2
- Date: Tue, 28 Feb 2023 02:42:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 12:36:00.226861
- Title: Generalization Analysis for Contrastive Representation Learning
- Title（参考訳）: コントラスト表現学習のための一般化分析
- Authors: Yunwen Lei, Tianbao Yang, Yiming Ying, Ding-Xuan Zhou
- Abstract要約: 既存の一般化誤差境界は負の例の数$k$に線形に依存する。
対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
- 参考スコア（独自算出の注目度）: 80.89690821916653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, contrastive learning has found impressive success in advancing the
state of the art in solving various machine learning tasks. However, the
existing generalization analysis is very limited or even not meaningful. In
particular, the existing generalization error bounds depend linearly on the
number $k$ of negative examples while it was widely shown in practice that
choosing a large $k$ is necessary to guarantee good generalization of
contrastive learning in downstream tasks. In this paper, we establish novel
generalization bounds for contrastive learning which do not depend on $k$, up
to logarithmic terms. Our analysis uses structural results on empirical
covering numbers and Rademacher complexities to exploit the Lipschitz
continuity of loss functions. For self-bounding Lipschitz loss functions, we
further improve our results by developing optimistic bounds which imply fast
rates in a low noise condition. We apply our results to learning with both
linear representation and nonlinear representation by deep neural networks, for
both of which we derive Rademacher complexity bounds to get improved
generalization bounds.
- Abstract（参考訳）: 近年、対照的な学習は、さまざまな機械学習タスクの解決において、最先端の技術の進歩に顕著な成功を収めている。
しかし、既存の一般化分析は非常に限定的であるか、あるいは意味がない。
特に、既存の一般化誤差境界は負の例の$k$の数に線形に依存するが、実際にはダウンストリームタスクにおけるコントラスト学習のよい一般化を保証するためには、大きな$k$を選択する必要があることが広く示されている。
本稿では、対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
本解析では,損失関数のリプシッツ連続性を活用するために,経験的被覆数とラドマシェ複素数に関する構造的結果を用いる。
自己拘束型リプシッツ損失関数については,低騒音下での高速速度を示す楽観的境界を発達させることにより,さらに改善する。
本稿では,ニューラルネットワークによる線形表現と非線形表現の両方の学習に適用し,Radecherの複雑性境界を導出して一般化境界を改良した。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。
我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
論文 参考訳（メタデータ） (2023-05-31T08:13:14Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - Near-optimal Offline Reinforcement Learning with Linear Representation:
Leveraging Variance Information with Pessimism [65.46524775457928]
オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。
線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
論文 参考訳（メタデータ） (2022-03-11T09:00:12Z) - Learning Rates for Nonconvex Pairwise Learning [7.33244617309908]
人口規模に基づいて多くの重要な学習タスクを改善するため、ペアワイズ学習が注目されている。
モチベーションされた非賢明な学習は、学習率を改善する。
論文 参考訳（メタデータ） (2021-11-09T16:12:20Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Fine-grained Generalization Analysis of Vector-valued Learning [28.722350261462463]
正規化ベクトル値学習アルゴリズムの一般化解析を,出力次元に軽度依存する境界とサンプルサイズに高速速度を提示することで開始する。
最適化と学習の相互作用を理解するために、結果を使用して、ベクトル値関数による降下の最初の境界を導出します。
副生成物として、一般凸函数の項で定義される損失関数クラスに対してラデマッハ複雑性を導出する。
論文 参考訳（メタデータ） (2021-04-29T07:57:34Z) - Information-theoretic analysis for transfer learning [5.081241420920605]
本稿では,一般化誤差と転帰学習アルゴリズムの過大なリスクに関する情報理論解析を行う。
我々の結果は、おそらく予想通り、Kulback-Leiblerの発散$D(mu||mu')$が一般化誤差を特徴づける重要な役割を果たすことを示唆している。
論文 参考訳（メタデータ） (2020-05-18T13:23:20Z) - Optimistic bounds for multi-output prediction [6.015556590955814]
教師付きデータセットに基づいてベクトル値関数を学習することが目的であるマルチアウトプット学習の課題について検討する。
これには、マルチターゲット回帰、マルチクラス分類、マルチラベル分類など、機械学習におけるさまざまな重要な問題が含まれている。
自己有界リプシッツ条件は多出力学習において楽観的な境界を生じさせることを示す。
論文 参考訳（メタデータ） (2020-02-22T20:54:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。