論文の概要: On the Role of Noise in the Sample Complexity of Learning Recurrent Neural Networks: Exponential Gaps for Long Sequences

• arxiv url: http://arxiv.org/abs/2305.18423v1
• Date: Sun, 28 May 2023 20:32:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 21:12:00.144919
• Title: On the Role of Noise in the Sample Complexity of Learning Recurrent Neural Networks: Exponential Gaps for Long Sequences
• Title（参考訳）: 学習リカレントニューラルネットワークのサンプル複雑性におけるノイズの役割について--長い列の指数ギャップについて
• Authors: Alireza Fathollah Pour and Hassan Ashtiani
• Abstract要約: 我々は,長さ$T$の列を分類するために,$w$ (unbounded) 重み付き雑音の多い多層シグモイドリカレントニューラルネットワークのクラスを考える。 我々の主な結果は、このクラスを学習するPACのサンプルの複雑さが$O(wlog(T/sigma))$でバウンドできることを示しています。 以上の結果から, ノイズと非ノイズのネットワークにおいて, サンプルの複雑性が$T$に依存している場合の指数的差が示唆された。
• 参考スコア（独自算出の注目度）: 5.127183254738711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the class of noisy multi-layered sigmoid recurrent neural networks with $w$ (unbounded) weights for classification of sequences of length $T$, where independent noise distributed according to $\mathcal{N}(0,\sigma^2)$ is added to the output of each neuron in the network. Our main result shows that the sample complexity of PAC learning this class can be bounded by $O (w\log(T/\sigma))$. For the non-noisy version of the same class (i.e., $\sigma=0$), we prove a lower bound of $\Omega (wT)$ for the sample complexity. Our results indicate an exponential gap in the dependence of sample complexity on $T$ for noisy versus non-noisy networks. Moreover, given the mild logarithmic dependence of the upper bound on $1/\sigma$, this gap still holds even for numerically negligible values of $\sigma$.
• Abstract（参考訳）: 我々は,ネットワーク内の各ニューロンの出力に$\mathcal{n}(0,\sigma^2)$による独立した雑音が分布する長さ$t$のシーケンスを分類するために,w$ (unbounded) 重み付き多層型sgmoid recurrentニューラルネットワークのクラスを考える。 主な結果は、pac学習のサンプル複雑性が$o(w\log(t/\sigma))$で区切られることを示している。 同じクラスの雑音のないバージョン(例えば$\sigma=0$)に対して、サンプル複雑性に対して$\Omega (wT)$の低い境界を証明する。 以上の結果から,ノイズネットワークと非ノイズネットワークでは,サンプル複雑性の指数関数的差がt$で示される。 さらに、1/\sigma$ 上の上限の軽度対数依存を考えると、このギャップは数値的に無視できる$\sigma$ の値でも維持される。

関連論文リスト

• Matching the Statistical Query Lower Bound for k-sparse Parity Problems with Stochastic Gradient Descent [83.85536329832722]
  勾配勾配降下(SGD)は,$d$次元ハイパーキューブ上の$k$パリティ問題を効率的に解くことができることを示す。 次に、SGDでトレーニングされたニューラルネットワークがどのようにして、小さな統計的エラーで$k$-parityの問題を解決するかを実証する。
  論文  参考訳（メタデータ） (2024-04-18T17:57:53Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Near-Optimal Bounds for Learning Gaussian Halfspaces with Random Classification Noise [50.64137465792738]
  この問題に対する効率的なSQアルゴリズムは、少なくとも$Omega(d1/2/(maxp, epsilon)2)$. のサンプル複雑性を必要とする。 我々の下限は、この1/epsilon$に対する二次的依存は、効率的なアルゴリズムに固有のものであることを示唆している。
  論文  参考訳（メタデータ） (2023-07-13T18:59:28Z)
• Information-Computation Tradeoffs for Learning Margin Halfspaces with Random Classification Noise [50.64137465792738]
  ランダム分類ノイズを用いたPAC$gamma$-marginハーフスペースの問題について検討する。 我々は、問題のサンプル複雑性と計算効率の良いアルゴリズムのサンプル複雑性との間に固有のギャップを示唆する情報計算トレードオフを確立する。
  論文  参考訳（メタデータ） (2023-06-28T16:33:39Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Generalization and Stability of Interpolating Neural Networks with Minimal Width [37.908159361149835]
  補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。 トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。 m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
  論文  参考訳（メタデータ） (2023-02-18T05:06:15Z)
• Detection-Recovery Gap for Planted Dense Cycles [72.4451045270967]
  期待帯域幅$n tau$とエッジ密度$p$をエルドホス=R'enyiグラフ$G(n,q)$に植え込むモデルを考える。 低次アルゴリズムのクラスにおいて、関連する検出および回復問題に対する計算しきい値を特徴付ける。
  論文  参考訳（メタデータ） (2023-02-13T22:51:07Z)
• Sample Complexity Bounds for Learning High-dimensional Simplices in Noisy Regimes [5.526935605535376]
  ノイズの多いサンプルから単純さを学習するために、サンプルの複雑さが結びついているのがわかります。 我々は、$mathrmSNRgeOmegaleft(K1/2right)$ である限り、ノイズのないシステムのサンプルの複雑さは、ノイズのないケースのそれと同じ順序であることを示す。
  論文  参考訳（メタデータ） (2022-09-09T23:35:25Z)
• On the Power of Localized Perceptron for Label-Optimal Learning of Halfspaces with Adversarial Noise [4.8728183994912415]
  対比雑音を伴う$mathbbRd$の同質半空間のオンラインアクティブ学習について研究する。 私たちの主な貢献は、時間内で動作するパーセプトロンライクなアクティブラーニングアルゴリズムです。 アルゴリズムは、ほぼ最適ラベルの複雑さで基礎となるハーフスペースを学習する。
  論文  参考訳（メタデータ） (2020-12-19T22:04:10Z)
• Multi-reference alignment in high dimensions: sample complexity and phase transition [31.841289319809814]
  マルチ参照アライメントは、円形にシフトしたノイズの多いコピーから$mathbbRL$のシグナルを推定する。 単一粒子の低温電子顕微鏡により、高次元状態における問題のサンプルの複雑さを解析した。 我々の分析では、パラメータ $alpha = L/(sigma2log L)$ で制御される相転移現象を発見し、$sigma2$ はノイズの分散である。
  論文  参考訳（メタデータ） (2020-07-22T15:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。