論文の概要: Learning Rates for Nonconvex Pairwise Learning

• arxiv url: http://arxiv.org/abs/2111.05232v1
• Date: Tue, 9 Nov 2021 16:12:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 15:25:16.992231
• Title: Learning Rates for Nonconvex Pairwise Learning
• Title（参考訳）: 非凸対学習における学習率
• Authors: Shaojie Li, Yong Liu
• Abstract要約: 人口規模に基づいて多くの重要な学習タスクを改善するため、ペアワイズ学習が注目されている。 モチベーションされた非賢明な学習は、学習率を改善する。
• 参考スコア（独自算出の注目度）: 7.33244617309908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pairwise learning is receiving increasing attention since it covers many important machine learning tasks, e.g., metric learning, AUC maximization, and ranking. Investigating the generalization behavior of pairwise learning is thus of significance. However, existing generalization analysis mainly focuses on the convex objective functions, leaving the nonconvex learning far less explored. Moreover, the current learning rates derived for generalization performance of pairwise learning are mostly of slower order. Motivated by these problems, we study the generalization performance of nonconvex pairwise learning and provide improved learning rates. Specifically, we develop different uniform convergence of gradients for pairwise learning under different assumptions, based on which we analyze empirical risk minimizer, gradient descent, and stochastic gradient descent pairwise learning. We first successfully establish learning rates for these algorithms in a general nonconvex setting, where the analysis sheds insights on the trade-off between optimization and generalization and the role of early-stopping. We then investigate the generalization performance of nonconvex learning with a gradient dominance curvature condition. In this setting, we derive faster learning rates of order $\mathcal{O}(1/n)$, where $n$ is the sample size. Provided that the optimal population risk is small, we further improve the learning rates to $\mathcal{O}(1/n^2)$, which, to the best of our knowledge, are the first $\mathcal{O}(1/n^2)$-type of rates for pairwise learning, no matter of convex or nonconvex learning. Overall, we systematically analyzed the generalization performance of nonconvex pairwise learning.
• Abstract（参考訳）: ペアワイズ学習は、メトリックラーニング、AUCの最大化、ランキングなど、多くの重要な機械学習タスクをカバーするため、注目を集めている。 ペアワイズ学習の一般化行動を調べることは重要である。 しかし、既存の一般化分析は主に凸目的関数に焦点をあてており、非凸学習の探索ははるかに少ない。 さらに、ペアワイズ学習の一般化性能を導出する現在の学習率は、概ね低調である。 これらの課題に乗じて,非凸対学習の一般化性能について検討し,学習率の向上を図る。 具体的には, 経験的リスク最小化, 勾配降下, 確率的勾配降下学習などに基づいて, 異なる仮定下でのペアワイズ学習のための勾配の均一な収束性について検討する。 まず,これらのアルゴリズムの学習率を,最適化と一般化のトレードオフと早期停止の役割についての洞察を浮き彫りにした。 次に,勾配支配曲率条件を用いた非凸学習の一般化性能について検討した。 この設定では、$n$がサンプルサイズである、$\mathcal{o}(1/n)$のより速い学習率を得る。 最適集団リスクが小さくなると、より学習率を$\mathcal{O}(1/n^2)$に改善し、私たちの知る限り、凸や非凸学習にかかわらず、ペア学習のための最初の$\mathcal{O}(1/n^2)$タイプとなる。 全体として,非凸対学習の一般化性能を系統的に解析した。

関連論文リスト

• Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
  既存の一般化誤差境界は負の例の数$k$に線形に依存する。 対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
  論文  参考訳（メタデータ） (2023-02-24T01:03:56Z)
• On the Stability and Generalization of Triplet Learning [55.75784102837832]
  トリプルトラーニング(トリプルトラーニング)、すなわちトリプルトデータから学ぶことは、コンピュータビジョンタスクに大きな注目を集めている。 本稿では,安定解析を利用した三重項学習の一般化保証について検討する。
  論文  参考訳（メタデータ） (2023-02-20T07:32:50Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Improved Learning Rates for Stochastic Optimization: Two Theoretical Viewpoints [7.33244617309908]
  最適化の一般化性能は機械学習の中心である。 本稿では,2つの一般的な最適化手法の学習率向上に向けた過大な取り組みについて検討する。 これらの課題に乗じて、凸学習における軽度の仮定の下で改善率を提供し、より高速な非学習率の導出を目指す。
  論文  参考訳（メタデータ） (2021-07-19T08:46:14Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Differential Privacy for Pairwise Learning: Non-convex Analysis [16.815470316398326]
  ペアワイズ学習は、ペアワイズ損失関数との学習関係に焦点を当てる。 ペアワイズ学習のプライバシを分析し,摂動に対する新しい差分プライバシパラダイムを提案する。
  論文  参考訳（メタデータ） (2021-05-07T02:20:23Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。