Fugu-MT 論文翻訳(概要): Optimal Estimates for Pairwise Learning with Deep ReLU Networks

論文の概要: Optimal Estimates for Pairwise Learning with Deep ReLU Networks

arxiv url: http://arxiv.org/abs/2305.19640v1
Date: Wed, 31 May 2023 08:13:14 GMT
ステータス: 処理完了
システム内更新日: 2023-06-01 17:48:52.942937
Title: Optimal Estimates for Pairwise Learning with Deep ReLU Networks
Title（参考訳）: ディープreluネットワークを用いたペアワイズ学習の最適推定
Authors: Junyu Zhou, Shuo Huang, Han Feng, Ding-Xuan Zhou
Abstract要約: 深層ReLUネットワークを用いてペアワイズ学習を行い,過剰な一般化誤差を推定する。対最小二乗損失では、過剰な一般化誤差のほぼ最適な境界を導出する。
参考スコア（独自算出の注目度）: 8.067283219068832
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pairwise learning refers to learning tasks where a loss takes a pair of samples into consideration. In this paper, we study pairwise learning with deep ReLU networks and estimate the excess generalization error. For a general loss satisfying some mild conditions, a sharp bound for the estimation error of order $O((V\log(n) /n)^{1/(2-\beta)})$ is established. In particular, with the pairwise least squares loss, we derive a nearly optimal bound of the excess generalization error which achieves the minimax lower bound up to a logrithmic term when the true predictor satisfies some smoothness regularities.
Abstract（参考訳）: ペアワイズ学習(Pairwise learning)とは、損失が一対のサンプルを考慮に入れたタスクを学習することである。本稿では,深いReLUネットワークを用いてペアワイズ学習を行い,過剰な一般化誤差を推定する。いくつかの穏やかな条件を満たす一般的な損失に対して、$o((v\log(n) /n)^{1/(2-\beta)})$の推測誤差に対するシャープバウンドが確立される。特に、ペアの最小二乗損失で、真の予測器がいくつかの滑らかな正則性を満たすとき、対数項までの最小値下界を達成する過大一般化誤差のほぼ最適境界を導出する。

関連論文リスト

On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文参考訳（メタデータ） (2023-12-13T02:11:07Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文参考訳（メタデータ） (2022-11-26T21:02:09Z)
Adversarial Estimators [0.0]
我々は、敵推定器(A推定器)の理論を開発する。そこで本研究では,A推定器の収束率をポイントワイドおよび部分同定の両方で特徴付ける。我々の理論は、ニューラルネットワークM-推定器の一般関数の正規性ももたらしている。
論文参考訳（メタデータ） (2022-04-22T04:39:44Z)
Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文参考訳（メタデータ） (2022-01-21T02:46:57Z)
Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
一次元回帰問題に対する連続領域定式化を提案する。リプシッツ定数をユーザ定義上界を用いて明示的に制御する。いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
論文参考訳（メタデータ） (2021-12-27T07:03:43Z)
Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文参考訳（メタデータ） (2021-06-15T18:34:41Z)
Fine-grained Generalization Analysis of Vector-valued Learning [28.722350261462463]
正規化ベクトル値学習アルゴリズムの一般化解析を,出力次元に軽度依存する境界とサンプルサイズに高速速度を提示することで開始する。最適化と学習の相互作用を理解するために、結果を使用して、ベクトル値関数による降下の最初の境界を導出します。副生成物として、一般凸函数の項で定義される損失関数クラスに対してラデマッハ複雑性を導出する。
論文参考訳（メタデータ） (2021-04-29T07:57:34Z)
Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
論文参考訳（メタデータ） (2020-12-14T10:36:06Z)
Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文参考訳（メタデータ） (2020-10-31T21:35:42Z)
Nonconvex sparse regularization for deep neural networks and its optimality [1.9798034349981162]
ディープニューラルネットワーク(DNN)推定器は、回帰と分類問題に対して最適な収束率を得ることができる。スパースDNNに対する新たなペナル化推定法を提案する。スパースペンタライズされた推定器は、様々な非パラメトリック回帰問題に対する最小収束率を適応的に達成できることを示す。
論文参考訳（メタデータ） (2020-03-26T07:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。