論文の概要: Minimax optimality of deep neural networks on dependent data via PAC-Bayes bounds
- arxiv url: http://arxiv.org/abs/2410.21702v1
- Date: Tue, 29 Oct 2024 03:37:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:42:28.163234
- Title: Minimax optimality of deep neural networks on dependent data via PAC-Bayes bounds
- Title(参考訳): PAC-Bayes境界による依存データに基づくディープニューラルネットワークの最小最適性
- Authors: Pierre Alquier, William Kengne,
- Abstract要約: Schmidt-Hieber (2020) は、最小二乗回帰推定のためにReLuを活性化したディープニューラルネットワークの最小最適性を証明した。
我々は、最小二乗およびロジスティック回帰を含むより一般的な機械学習問題について研究する。
我々は、ロジスティック損失を伴う分類の類似の下限を確立し、提案したDNN推定器がミニマックスの意味で最適であることを証明した。
- 参考スコア(独自算出の注目度): 3.9041951045689305
- License:
- Abstract: In a groundbreaking work, Schmidt-Hieber (2020) proved the minimax optimality of deep neural networks with ReLu activation for least-square regression estimation over a large class of functions defined by composition. In this paper, we extend these results in many directions. First, we remove the i.i.d. assumption on the observations, to allow some time dependence. The observations are assumed to be a Markov chain with a non-null pseudo-spectral gap. Then, we study a more general class of machine learning problems, which includes least-square and logistic regression as special cases. Leveraging on PAC-Bayes oracle inequalities and a version of Bernstein inequality due to Paulin (2015), we derive upper bounds on the estimation risk for a generalized Bayesian estimator. In the case of least-square regression, this bound matches (up to a logarithmic factor) the lower bound of Schmidt-Hieber (2020). We establish a similar lower bound for classification with the logistic loss, and prove that the proposed DNN estimator is optimal in the minimax sense.
- Abstract(参考訳): Schmidt-Hieber (2020) は、合成によって定義される多数の関数に対して最小二乗回帰推定を行うために、ReLuを活性化したディープニューラルネットワークの最小最適性を証明した。
本稿では,これらの結果を様々な方向に拡張する。
まず、観測のi.d.仮定を取り除き、ある程度の時間依存を許容する。
観測結果は、非負の擬スペクトルギャップを持つマルコフ連鎖であると仮定される。
そこで我々は,最小二乗回帰とロジスティック回帰を含む,より一般的な機械学習問題について研究する。
パウリン (2015) による PAC-Bayes oracle の不等式とベルンシュタインの不等式を利用して、一般化ベイズ推定器の推定リスクの上限を導出する。
最小二乗回帰の場合、この境界はSchmidt-Hieber (2020) の下界と一致する(対数係数まで)。
我々は、ロジスティック損失を伴う分類の類似の下限を確立し、提案したDNN推定器がミニマックスの意味で最適であることを証明した。
関連論文リスト
- Deep learning from strongly mixing observations: Sparse-penalized regularization and minimax optimality [0.0]
ディープニューラルネットワーク予測器のスパースペナル化正規化について検討する。
正方形と幅広い損失関数を扱う。
論文 参考訳(メタデータ) (2024-06-12T15:21:51Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳(メタデータ) (2024-04-18T16:46:08Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳(メタデータ) (2023-01-16T02:57:37Z) - A PAC-Bayes oracle inequality for sparse neural networks [0.0]
非パラメトリック回帰条件下で, スパースディープニューラルネットのギブス後部分布について検討した。
この方法が回帰関数の未知の正則性と階層構造に適応することを示すオラクルの不等式を証明する。
論文 参考訳(メタデータ) (2022-04-26T15:48:24Z) - Pessimistic Minimax Value Iteration: Provably Efficient Equilibrium
Learning from Offline Datasets [101.5329678997916]
両プレイヤーゼロサムマルコフゲーム(MG)をオフライン環境で研究する。
目標は、事前収集されたデータセットに基づいて、近似的なナッシュ均衡(NE)ポリシーペアを見つけることである。
論文 参考訳(メタデータ) (2022-02-15T15:39:30Z) - Optimal Estimation and Computational Limit of Low-rank Gaussian Mixtures [12.868722327487752]
本稿では,各行列値の観測値に低ランク構造が植え付けられていることを前提として,低ランクガウス混合モデル(LrMM)を提案する。
一般に計算不可能な最大極大推定器の最小極大最適性を証明する。
以上の結果から,ミニマックス誤差率と統計的-計算的ギャップの相転移が明らかとなった。
論文 参考訳(メタデータ) (2022-01-22T12:43:25Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - Binary Classification of Gaussian Mixtures: Abundance of Support
Vectors, Benign Overfitting and Regularization [39.35822033674126]
生成ガウス混合モデルに基づく二項線形分類について検討する。
後者の分類誤差に関する新しい非漸近境界を導出する。
この結果は, 確率が一定である雑音モデルに拡張される。
論文 参考訳(メタデータ) (2020-11-18T07:59:55Z) - Learning Minimax Estimators via Online Learning [55.92459567732491]
確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。
混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
論文 参考訳(メタデータ) (2020-06-19T22:49:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。