論文の概要: Generalization Analysis for Deep Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2412.12014v2
• Date: Thu, 19 Dec 2024 06:21:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:33:13.057763
• Title: Generalization Analysis for Deep Contrastive Representation Learning
• Title（参考訳）: 深層コントラスト表現学習のための一般化解析
• Authors: Nong Minh Hieu, Antoine Ledent, Yunwen Lei, Cheng Yeaw Ku,
• Abstract要約: 本稿では,Deep Contrastive Representation Learningフレームワークにおける教師なしリスクの限界について述べる。 我々は損失増大手法を用いて、行列ノルムへの依存性とネットワーク深さへの暗黙的依存を減らす。
• 参考スコア（独自算出の注目度）: 32.56004424242989
• License:
• Abstract: In this paper, we present generalization bounds for the unsupervised risk in the Deep Contrastive Representation Learning framework, which employs deep neural networks as representation functions. We approach this problem from two angles. On the one hand, we derive a parameter-counting bound that scales with the overall size of the neural networks. On the other hand, we provide a norm-based bound that scales with the norms of neural networks' weight matrices. Ignoring logarithmic factors, the bounds are independent of $k$, the size of the tuples provided for contrastive learning. To the best of our knowledge, this property is only shared by one other work, which employed a different proof strategy and suffers from very strong exponential dependence on the depth of the network which is due to a use of the peeling technique. Our results circumvent this by leveraging powerful results on covering numbers with respect to uniform norms over samples. In addition, we utilize loss augmentation techniques to further reduce the dependency on matrix norms and the implicit dependence on network depth. In fact, our techniques allow us to produce many bounds for the contrastive learning setting with similar architectural dependencies as in the study of the sample complexity of ordinary loss functions, thereby bridging the gap between the learning theories of contrastive learning and DNNs.
• Abstract（参考訳）: 本稿では,深層ニューラルネットワークを表現関数として利用するDeep Contrastive Representation Learningフレームワークにおいて,教師なしリスクに対する一般化境界を提案する。 私たちはこの問題を2つの角度からアプローチする。 一方、ニューラルネットワークの全体サイズに合わせてスケールするパラメータカウント境界を導出する。 一方、ニューラルネットワークの重み行列のノルムに合わせてスケールするノルムベースのバウンダリを提供する。 対数的因子を無視すると、境界は、対照的な学習のために提供されるタプルのサイズである$k$とは独立である。 我々の知る限りでは、この性質は他の研究でのみ共有されており、異なる証明戦略を採用しており、剥離技術によるネットワークの深さへの非常に強い指数的な依存に悩まされている。 本結果は, サンプル上の一様ノルムに関して, 被覆数に対する強力な結果を活用することで, この問題を回避することができる。 さらに,損失増大手法を用いて,行列ノルムへの依存性とネットワーク深度への暗黙的依存をさらに軽減する。 実際,本手法は,通常の損失関数のサンプル複雑性の研究において,類似したアーキテクチャ的依存関係を持つ対照的な学習環境に多くの制約を課し,対照的な学習理論とDNNのギャップを埋めることを可能にする。

関連論文リスト

• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Generalization bounds for neural ordinary differential equations and deep residual networks [1.2328446298523066]
  我々は、連続時間パラメータを持つパラメータ化ニューラル常微分方程式(ニューラルODE)の族を考える。 ニューラルネットワークとディープ残差ネットワークの類似を利用して、我々はディープ残差ネットワークのクラスを一般化する。
  論文  参考訳（メタデータ） (2023-05-11T08:29:34Z)
• Towards Size-Independent Generalization Bounds for Deep Operator Nets [0.28123958518740544]
  本研究は,DeepONetsのトレーニング中にサンプル外誤差を測定する理論を推し進めることを目的としている。 DeepONets のクラスでは、関係するネットの幅と明示的にスケールしない Rademacher の複雑性に制限があることを証明します。 We show how the Huber loss can be chosen to for these DeepONet class generalization error bounds can be obtained that have no explicit dependencies to the size of the nets。
  論文  参考訳（メタデータ） (2022-05-23T14:45:34Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
  線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。 現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
  論文  参考訳（メタデータ） (2020-10-29T15:05:43Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。