論文の概要: Optimal Estimates for Pairwise Learning with Deep ReLU Networks
- arxiv url: http://arxiv.org/abs/2305.19640v1
- Date: Wed, 31 May 2023 08:13:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 17:48:52.942937
- Title: Optimal Estimates for Pairwise Learning with Deep ReLU Networks
- Title(参考訳): ディープreluネットワークを用いたペアワイズ学習の最適推定
- Authors: Junyu Zhou, Shuo Huang, Han Feng, Ding-Xuan Zhou
- Abstract要約: 深層ReLUネットワークを用いてペアワイズ学習を行い,過剰な一般化誤差を推定する。
対最小二乗損失では、過剰な一般化誤差のほぼ最適な境界を導出する。
- 参考スコア(独自算出の注目度): 8.067283219068832
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pairwise learning refers to learning tasks where a loss takes a pair of
samples into consideration. In this paper, we study pairwise learning with deep
ReLU networks and estimate the excess generalization error. For a general loss
satisfying some mild conditions, a sharp bound for the estimation error of
order $O((V\log(n) /n)^{1/(2-\beta)})$ is established. In particular, with the
pairwise least squares loss, we derive a nearly optimal bound of the excess
generalization error which achieves the minimax lower bound up to a logrithmic
term when the true predictor satisfies some smoothness regularities.
- Abstract(参考訳): ペアワイズ学習(Pairwise learning)とは、損失が一対のサンプルを考慮に入れたタスクを学習することである。
本稿では,深いReLUネットワークを用いてペアワイズ学習を行い,過剰な一般化誤差を推定する。
いくつかの穏やかな条件を満たす一般的な損失に対して、$o((v\log(n) /n)^{1/(2-\beta)})$の推測誤差に対するシャープバウンドが確立される。
特に、ペアの最小二乗損失で、真の予測器がいくつかの滑らかな正則性を満たすとき、対数項までの最小値下界を達成する過大一般化誤差のほぼ最適境界を導出する。
関連論文リスト
- Convex Relaxations of ReLU Neural Networks Approximate Global Optima in
Polynomial Time [54.01594785269913]
本稿では, 重み劣化と凸緩和に則った2層ReLUネットワーク間の最適性ギャップについて述べる。
トレーニングデータがランダムである場合、元の問題と緩和の間の相対的な最適性ギャップは、サンプルの勾配によって境界付けられることを示す。
論文 参考訳(メタデータ) (2024-02-06T01:29:35Z) - Polynomial-Time Solutions for ReLU Network Training: A Complexity
Classification via Max-Cut and Zonotopes [70.52097560486683]
我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。
特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
論文 参考訳(メタデータ) (2023-11-18T04:41:07Z) - Towards Understanding Gradient Approximation in Equality Constrained
Deep Declarative Networks [35.85459792015478]
我々は、深い宣言ノードの勾配を制約項を無視して近似できる条件を探索し、大域的損失関数の降下方向を導出する。
これは、近似が真の勾配計算よりもはるかに効率的であるため、ディープラーニングモデルを訓練する際の重要な実用的応用である。
論文 参考訳(メタデータ) (2023-06-24T20:46:33Z) - Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
既存の一般化誤差境界は負の例の数$k$に線形に依存する。
対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
論文 参考訳(メタデータ) (2023-02-24T01:03:56Z) - Information-Theoretic Generalization Bounds for Iterative
Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。
我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文 参考訳(メタデータ) (2021-10-03T05:38:49Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳(メタデータ) (2021-06-28T00:17:01Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T19:08:53Z) - Rethinking and Reweighting the Univariate Losses for Multi-Label
Ranking: Consistency and Generalization [44.73295800450414]
(部分)ランキング損失は、マルチラベル分類の一般的な評価尺度です。
既存の理論と実践の間にはギャップがある -- ペアワイズな損失は有望なパフォーマンスをもたらすが一貫性を欠く可能性がある。
論文 参考訳(メタデータ) (2021-05-10T09:23:27Z) - Sample-efficient L0-L2 constrained structure learning of sparse Ising
models [3.056751497358646]
スパースイジングモデルの基盤となるグラフを$n$ i.i.d.サンプルから$p$ノードで学習する問題を考察する。
濃度制約 L0 ノルムを有効に利用し、このノルムを L2 ノルムと組み合わせて非零係数をモデル化する。
論文 参考訳(メタデータ) (2020-12-03T07:52:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。