論文の概要: Memory and forecasting capacities of nonlinear recurrent networks

• arxiv url: http://arxiv.org/abs/2004.11234v2
• Date: Wed, 2 Sep 2020 10:53:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 17:02:42.928599
• Title: Memory and forecasting capacities of nonlinear recurrent networks
• Title（参考訳）: 非線形リカレントネットワークの記憶と予測能力
• Authors: Lukas Gonon, Lyudmila Grigoryeva, and Juan-Pablo Ortega
• Abstract要約: 当初、エコー状態と独立入力を持つ線形ネットワークのために導入されたメモリ容量の概念は、定常だが依存入力を持つ非線形リカレントネットワークに一般化される。 入力への依存の存在は、ネットワーク予測能力の導入を自然なものにしている。
• 参考スコア（独自算出の注目度）: 8.143750358586072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The notion of memory capacity, originally introduced for echo state and linear networks with independent inputs, is generalized to nonlinear recurrent networks with stationary but dependent inputs. The presence of dependence in the inputs makes natural the introduction of the network forecasting capacity, that measures the possibility of forecasting time series values using network states. Generic bounds for memory and forecasting capacities are formulated in terms of the number of neurons of the nonlinear recurrent network and the autocovariance function or the spectral density of the input. These bounds generalize well-known estimates in the literature to a dependent inputs setup. Finally, for the particular case of linear recurrent networks with independent inputs it is proved that the memory capacity is given by the rank of the associated controllability matrix, a fact that has been for a long time assumed to be true without proof by the community.
• Abstract（参考訳）: 当初、エコー状態と独立入力を持つ線形ネットワークのために導入されたメモリ容量の概念は、定常だが依存入力を持つ非線形リカレントネットワークに一般化される。 入力への依存性の存在は、ネットワーク状態を用いた時系列値の予測可能性を測定するネットワーク予測能力の導入を自然なものにする。 記憶および予測容量の一般的な境界は、非線形再帰ネットワークのニューロン数と、入力の自己共分散関数またはスペクトル密度によって定式化される。 これらの境界は、文献でよく知られた見積もりを依存的な入力設定に一般化する。 最後に、独立した入力を持つリニアリカレントネットワークの特定の場合において、メモリ容量が関連する制御可能性行列のランクによって与えられることが証明され、コミュニティによる証明がなければ、長い間の事実が真であると仮定された。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Inferring networks from time series: a neural approach [3.115375810642661]
  本稿では,ニューラルネットワークを用いて時系列データから大規模ネットワーク隣接行列を推定する強力な計算手法を提案する。 電力カットに対する応答から、英国電力網の線路故障箇所を推定することで、我々の能力を実証する。
  論文  参考訳（メタデータ） (2023-03-30T15:51:01Z)
• Probabilistic Verification of ReLU Neural Networks via Characteristic Functions [11.489187712465325]
  我々は、周波数領域における確率理論のアイデアを用いて、ReLUニューラルネットワークの確率論的検証保証を提供する。 我々は、(深い)フィードフォワードニューラルネットワークを有限地平線上の離散力学系として解釈する。 出力集合の累積分布関数を求め,ネットワークが期待通りに動作しているかどうかを確認する。
  論文  参考訳（メタデータ） (2022-12-03T05:53:57Z)
• Interpretable Self-Aware Neural Networks for Robust Trajectory Prediction [50.79827516897913]
  本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。 実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-16T06:28:20Z)
• Bayesian neural network priors for edge-preserving inversion [3.2046720177804646]
  重み付きニューラルネットワークの出力に基づく事前分布のクラスを導入する。 ネットワーク幅が有限である場合でも,そのような先行する標本は不連続な性質が望ましいことを理論的に示す。
  論文  参考訳（メタデータ） (2021-12-20T16:39:05Z)
• Certifying Incremental Quadratic Constraints for Neural Networks via Convex Optimization [2.388501293246858]
  我々は,関心領域上のニューラルネットワークのマップ上で漸進的二次的制約を証明するための凸プログラムを提案する。 証明書は、(ローカル)Lipschitz連続性、片側Lipschitz連続性、反転性、および収縮などのいくつかの有用な特性をキャプチャできます。
  論文  参考訳（メタデータ） (2020-12-10T21:15:00Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Hierarchical Gaussian Process Priors for Bayesian Neural Network Weights [16.538973310830414]
  望ましい事前分類は、重みをコンパクトに表現し、重み間の相関を捉え、事前知識を含ませることである。 i) 相関重み構造を柔軟にエンコード可能な単位埋め込みに基づくネットワーク重みのプロセスベース階層モデルと,(ii) 関数空間の規則化に便利な入力依存型の重み前のモデルを提案する。 これらのモデルは、分布外データに基づいて望ましいテスト時間不確実性推定を提供し、カーネルを用いたニューラルネットワークの帰納バイアスをモデル化する事例を示し、アクティブラーニングベンチマークで競合予測性能を示す。
  論文  参考訳（メタデータ） (2020-02-10T07:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。