論文の概要: PAC-Bayesian theory for stochastic LTI systems
- arxiv url: http://arxiv.org/abs/2103.12866v1
- Date: Tue, 23 Mar 2021 21:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-26 00:26:29.269782
- Title: PAC-Bayesian theory for stochastic LTI systems
- Title(参考訳): 確率的LTI系に対するPAC-ベイズ理論
- Authors: Deividas Eringis and John Leth and Zheng-Hua Tan and Rafal Wisniewski
and Mihaly Petreczky
- Abstract要約: 自律 LTI 状態空間モデルに対する PAC-Bayesian 誤差を導出する。
このようなエラー境界を導出する動機は、より一般的な動的システムに対して同様のエラー境界を導出できるようにすることである。
- 参考スコア(独自算出の注目度): 15.01136076871549
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we derive a PAC-Bayesian error bound for autonomous stochastic
LTI state-space models. The motivation for deriving such error bounds is that
they will allow deriving similar error bounds for more general dynamical
systems, including recurrent neural networks. In turn, PACBayesian error bounds
are known to be useful for analyzing machine learning algorithms and for
deriving new ones.
- Abstract(参考訳): 本稿では,自律確率 LTI 状態空間モデルに対する PAC-Bayesian 誤差を導出する。
このような誤差境界を導出する動機は、リカレントニューラルネットワークを含むより一般的な力学系で同様の誤差境界を導出できることである。
PACBayesの誤差境界は、機械学習アルゴリズムの分析や新しいアルゴリズムの導出に有用であることが知られている。
関連論文リスト
- A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - PAC-Bayesian bounds for learning LTI-ss systems with input from
empirical loss [13.251009291060992]
入力を持つ線形時間不変(LTI)力学系に対して、確率的に近似的正則(PAC)-ベイジアン誤差を導出する。
このような境界は機械学習に広く浸透しており、有限個のデータポイントから学習したモデルの予測力を特徴づけるのに有用である。
論文 参考訳(メタデータ) (2023-03-29T16:06:07Z) - PAC-Bayesian-Like Error Bound for a Class of Linear Time-Invariant
Stochastic State-Space Models [13.251009291060992]
入力を持つ力学系のクラスに対して、PAC-Bayesian-likeエラーバウンドを導出する。
この誤差の様々な結果について議論する。
論文 参考訳(メタデータ) (2022-12-30T17:37:33Z) - Demystify Optimization and Generalization of Over-parameterized
PAC-Bayesian Learning [20.295960197612743]
PAC-Bayesianは、後部分布における仮説の重み付け平均としてトレーニングエラーを表現できる分析フレームワークである。
PAC-Bayes学習を適用すると、収束結果がカーネルリッジ回帰の解に一致することを示す。
我々はさらに、非確率的ニューラルネットワークに対するラデマッハ複雑性に基づくバウンダリを改良した、均一なPAC-ベイズ一般化バウンダリを特徴付ける。
論文 参考訳(メタデータ) (2022-02-04T03:49:11Z) - Consistency of mechanistic causal discovery in continuous-time using
Neural ODEs [85.7910042199734]
ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。
本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-05-06T08:48:02Z) - Information Complexity and Generalization Bounds [0.0]
ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。
本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
論文 参考訳(メタデータ) (2021-05-04T20:37:57Z) - A General Framework for the Practical Disintegration of PAC-Bayesian
Bounds [2.516393111664279]
我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。
我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
論文 参考訳(メタデータ) (2021-02-17T09:36:46Z) - Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。
アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。
本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文 参考訳(メタデータ) (2020-10-02T15:21:37Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z) - Local Propagation in Constraint-based Neural Network [77.37829055999238]
ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。
本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
論文 参考訳(メタデータ) (2020-02-18T16:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。