Fugu-MT 論文翻訳(概要): Excess risk bound for deep learning under weak dependence

論文の概要: Excess risk bound for deep learning under weak dependence

arxiv url: http://arxiv.org/abs/2302.07503v1
Date: Wed, 15 Feb 2023 07:23:48 GMT
ステータス: 処理完了
システム内更新日: 2023-02-16 15:44:28.420339
Title: Excess risk bound for deep learning under weak dependence
Title（参考訳）: 弱い依存下における深層学習の過剰リスク
Authors: William Kengne
Abstract要約: 本稿では、弱い依存プロセスを学ぶためのディープニューラルネットワークについて考察する。我々は、任意のH"古いスムーズな関数を近似するために、ディープニューラルネットワークに必要な深さ、幅、間隔を導出する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper considers deep neural networks for learning weakly dependent processes in a general framework that includes, for instance, regression estimation, time series prediction, time series classification. The $\psi$-weak dependence structure considered is quite large and covers other conditions such as mixing, association,$\ldots$ Firstly, the approximation of smooth functions by deep neural networks with a broad class of activation functions is considered. We derive the required depth, width and sparsity of a deep neural network to approximate any H\"{o}lder smooth function, defined on any compact set $\mx$. Secondly, we establish a bound of the excess risk for the learning of weakly dependent observations by deep neural networks. When the target function is sufficiently smooth, this bound is close to the usual $\mathcal{O}(n^{-1/2})$.
Abstract（参考訳）: 本稿では,回帰推定,時系列予測,時系列分類などの一般的な枠組みにおいて,弱依存過程を学習するためのディープニューラルネットワークについて考察する。考慮される$\psi$-weak依存構造は非常に大きく、ミキシング、アソシエーション、$\ldots$といった他の条件をカバーする。我々は、任意のコンパクト集合$\mx$ 上で定義される任意の h\"{o}lder smooth関数を近似するために、ディープニューラルネットワークの必要な深さ、幅、スパーシティを導出する。第2に、深層ニューラルネットワークによる弱依存性観測の学習における過剰リスクの限界を確立する。対象関数が十分に滑らかであれば、この境界は通常の $\mathcal{O}(n^{-1/2})$ に近い。

関連論文リスト

Convergence of Gradient Descent for Recurrent Neural Networks: A Nonasymptotic Analysis [16.893624100273108]
教師付き学習環境において,勾配降下を訓練した斜め隠れ重み行列を用いた繰り返しニューラルネットワークの解析を行った。我々は,パラメータ化を伴わずに勾配降下が最適性を実現することを証明した。この結果は、繰り返しニューラルネットワークによって近似および学習できる力学系のクラスを明示的に評価することに基づいている。
論文参考訳（メタデータ） (2024-02-19T15:56:43Z)
Penalized deep neural networks estimator with general loss functions under weak dependence [0.0]
本稿では、弱い依存過程を学習するために、スパースペン化ディープニューラルネットワーク予測器を実行する。いくつかのシミュレーション結果が提供され、ヴィットーリア大都市圏の粒子状物質予測への応用も検討されている。
論文参考訳（メタデータ） (2023-05-10T15:06:53Z)
Deep learning for $\psi$-weakly dependent processes [0.0]
私たちは$psi$-weakly依存プロセスを学ぶためにディープニューラルネットワークを実行します。ディープニューラルネットワーク予測器のクラスにおける経験的リスク最小化アルゴリズムの整合性を確立する。いくつかのシミュレーション結果が提供され、アメリカの景気後退データにも適用されている。
論文参考訳（メタデータ） (2023-02-01T09:31:15Z)
Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
論文参考訳（メタデータ） (2022-09-15T15:42:47Z)
Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文参考訳（メタデータ） (2022-08-08T03:13:24Z)
Simultaneous approximation of a smooth function and its derivatives by deep neural networks with piecewise-polynomial activations [2.15145758970292]
我々は、H'olderノルムの所定の近似誤差まで、任意のH'older滑らかな関数を近似するために、ディープニューラルネットワークに必要な深さ、幅、間隔を導出する。後者の機能は、多くの統計および機械学習アプリケーションにおける一般化エラーを制御するために不可欠である。
論文参考訳（メタデータ） (2022-06-20T01:18:29Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文参考訳（メタデータ） (2021-06-06T19:08:53Z)
Deep Networks and the Multiple Manifold Problem [15.144495799445824]
マシンビジョンにおける応用をモデル化した二項分類タスクである多重多様体問題について検討し、深部完全連結ニューラルネットワークを用いて単位球面の2つの低次元部分多様体を分離する。ネットワーク深さ$L$がデータの幾何的および統計的性質に対して大きい場合、ネットワーク幅は$L$で十分大きく成長することを示す。本分析は,実際に動機付けられたモデル問題の文脈における奥行きと幅の具体的な利点を示す。
論文参考訳（メタデータ） (2020-08-25T19:20:00Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。