論文の概要: PAC-Bayes Generalisation Bounds for Dynamical Systems Including Stable RNNs

• arxiv url: http://arxiv.org/abs/2312.09793v1
• Date: Fri, 15 Dec 2023 13:49:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 15:42:35.561702
• Title: PAC-Bayes Generalisation Bounds for Dynamical Systems Including Stable RNNs
• Title（参考訳）: 安定RNNを含む動的システムのPAC-Bayes一般化境界
• Authors: Deividas Eringis, John Leth, Zheng-Hua Tan, Rafal Wisniewski, Mihaly Petreczky
• Abstract要約: 離散時間非線形力学系の特殊クラスに対する一般化ギャップに縛られたPAC-Bayesを導出する。 提案した境界はデータセットのサイズが大きくなるにつれて0に収束する。 他の利用可能なバウンダリと異なり、派生したバウンダリは非i.d.データ(時系列)を保持しており、RNNのステップ数で成長しない。
• 参考スコア（独自算出の注目度）: 11.338419403452239
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we derive a PAC-Bayes bound on the generalisation gap, in a supervised time-series setting for a special class of discrete-time non-linear dynamical systems. This class includes stable recurrent neural networks (RNN), and the motivation for this work was its application to RNNs. In order to achieve the results, we impose some stability constraints, on the allowed models. Here, stability is understood in the sense of dynamical systems. For RNNs, these stability conditions can be expressed in terms of conditions on the weights. We assume the processes involved are essentially bounded and the loss functions are Lipschitz. The proposed bound on the generalisation gap depends on the mixing coefficient of the data distribution, and the essential supremum of the data. Furthermore, the bound converges to zero as the dataset size increases. In this paper, we 1) formalize the learning problem, 2) derive a PAC-Bayesian error bound for such systems, 3) discuss various consequences of this error bound, and 4) show an illustrative example, with discussions on computing the proposed bound. Unlike other available bounds the derived bound holds for non i.i.d. data (time-series) and it does not grow with the number of steps of the RNN.
• Abstract（参考訳）: 本稿では,離散時間非線形力学系の特別なクラスに対する教師付き時系列設定において,一般化ギャップに縛られたPAC-Bayesを導出する。 このクラスには安定したリカレントニューラルネットワーク(RNN)が含まれており、この研究の動機はRNNへの適用にある。 結果を達成するために、許容されるモデルにいくつかの安定性の制約を課す。 ここでは、安定性は力学系の意味で理解される。 RNNの場合、これらの安定性条件は重みの条件で表すことができる。 関連する過程は本質的に有界であり、損失関数はリプシッツであると仮定する。 一般化ギャップが提案される境界は、データ分布の混合係数とデータの本質的上限に依存する。 さらに、データセットのサイズが大きくなると、バウンドはゼロに収束する。 本稿では, 1)学習問題を形式化する。 2) そのような系に対するpac-ベイズ誤差を導出する。 3)このエラーバウンドの様々な結果について議論し, 4) 提案する境界の計算に関する議論とともに、例示を示す。 他の利用可能なバウンダリと異なり、派生したバウンダリは非i.d.データ(時系列)を保持しており、RNNのステップ数で成長しない。

関連論文リスト

• Generalization and Risk Bounds for Recurrent Neural Networks [3.0638061480679912]
  我々は,バニラRNNに対する新しい一般化誤差を確立する。 我々は、様々な損失関数に適用可能なRademacher複雑性を計算する統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-05T03:49:06Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Integrating Random Effects in Deep Neural Networks [4.860671253873579]
  深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。 相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。 LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2022-06-07T14:02:24Z)
• Robust Learning of Physics Informed Neural Networks [2.86989372262348]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式の解法に有効であることが示されている。 本稿では、PINNがトレーニングデータのエラーに敏感であり、これらのエラーをPDEの解領域上で動的に伝播させるのに過度に適合していることを示す。
  論文  参考訳（メタデータ） (2021-10-26T00:10:57Z)
• How to train RNNs on chaotic data? [7.276372008305615]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルおよび時系列データをモデリングするための広帯域機械学習ツールである。 トレーニング中の損失勾配は、トレーニング中に飽和または分散する傾向にあるため、トレーニングが難しいことが知られている。 ここでは、RNN学習中の損失勾配をRNN生成軌道のリャプノフスペクトルに関連付けることで、この問題を包括的に理論的に扱う。
  論文  参考訳（メタデータ） (2021-10-14T09:07:42Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Probabilistic Numeric Convolutional Neural Networks [80.42120128330411]
  画像や時系列などの連続的な入力信号は、不規則にサンプリングされたり、値が欠けていたりすることは、既存のディープラーニング手法では困難である。 ガウス過程(GP)として特徴を表す確率的畳み込みニューラルネットワークを提案する。 次に、畳み込み層を、このGP上で定義されたPDEの進化として定義し、次いで非線形性とする。 実験では,SuperPixel-MNISTデータセットの先行技術と医療時間2012データセットの競合性能から,提案手法の誤差を3倍に削減できることが示されている。
  論文  参考訳（メタデータ） (2020-10-21T10:08:21Z)
• Stochastic Graph Neural Networks [123.39024384275054]
  グラフニューラルネットワーク(GNN)は、分散エージェント調整、制御、計画に応用したグラフデータの非線形表現をモデル化する。 現在のGNNアーキテクチャは理想的なシナリオを前提として,環境やヒューマンファクタ,あるいは外部攻撃によるリンク変動を無視している。 これらの状況において、GNNは、トポロジカルなランダム性を考慮していない場合、その分散タスクに対処することができない。
  論文  参考訳（メタデータ） (2020-06-04T08:00:00Z)
• A Convex Parameterization of Robust Recurrent Neural Networks [3.2872586139884623]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャル・ツー・シーケンス・マップをモデル化するのによく用いられる非線形力学系のクラスである。 安定性とロバスト性を保証するRNNの凸集合を定式化する。
  論文  参考訳（メタデータ） (2020-04-11T03:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。