論文の概要: Explainable nonlinear modelling of multiple time series with invertible neural networks

• arxiv url: http://arxiv.org/abs/2107.00391v1
• Date: Thu, 1 Jul 2021 12:07:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 13:33:05.174305
• Title: Explainable nonlinear modelling of multiple time series with invertible neural networks
• Title（参考訳）: 可逆ニューラルネットワークを用いた多重時系列の説明可能な非線形モデリング
• Authors: Luis Miguel Lopez-Ramos, Kevin Roy, Baltasar Beferull-Lozano
• Abstract要約: 時系列の集合が2つのステップで生成されるという仮定に基づいて,非線形トポロジ同定法を提案する。 後者のマッピングは非可逆であると仮定され、浅いニューラルネットワークとしてモデル化され、その逆を数値的に評価することができる。 本稿では、暗黙の微分を応用した勾配の計算に必要なステップについて説明する。
• 参考スコア（独自算出の注目度）: 7.605814048051735
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A method for nonlinear topology identification is proposed, based on the assumption that a collection of time series are generated in two steps: i) a vector autoregressive process in a latent space, and ii) a nonlinear, component-wise, monotonically increasing observation mapping. The latter mappings are assumed invertible, and are modelled as shallow neural networks, so that their inverse can be numerically evaluated, and their parameters can be learned using a technique inspired in deep learning. Due to the function inversion, the back-propagation step is not straightforward, and this paper explains the steps needed to calculate the gradients applying implicit differentiation. Whereas the model explainability is the same as that for linear VAR processes, preliminary numerical tests show that the prediction error becomes smaller.
• Abstract（参考訳）: 時系列の集合が2つのステップで生成されるという仮定に基づいて, 非線形位相同定法を提案し, 遅延空間におけるベクトル自己回帰過程と, 非線形, 成分的, 単調に増大する観測写像を提案する。 後者のマッピングは可逆と仮定され、浅いニューラルネットワークとしてモデル化され、その逆を数値的に評価し、そのパラメータはディープラーニングにインスパイアされた技術を使って学習することができる。 関数逆転により、バックプロパゲーションステップは単純ではなく、暗黙の微分を適用する勾配を計算するのに必要なステップを説明する。 モデル説明性は線形VARプロセスと同一であるが,予備数値実験により予測誤差が小さくなることが示された。

関連論文リスト

• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• Efficient Interpretable Nonlinear Modeling for Multiple Time Series [5.448070998907116]
  本稿では,複数時系列に対する効率的な非線形モデリング手法を提案する。 異なる時系列変数間の非線形相互作用を含む。 実験結果から,提案アルゴリズムは相似的にVAR係数の支持値の同定を改善することが示された。
  論文  参考訳（メタデータ） (2023-09-29T11:42:59Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• On the Detection and Quantification of Nonlinearity via Statistics of the Gradients of a Black-Box Model [0.0]
  非線形性の検出と同定は構造力学において重要な課題である。 データ駆動モデルの勾配分布に基づいて非線形性を検出する手法を提案する。
  論文  参考訳（メタデータ） (2023-02-15T23:15:22Z)
• Non-linear manifold ROM with Convolutional Autoencoders and Reduced Over-Collocation method [0.0]
  非アフィンパラメトリックな依存、非線形性、興味のモデルにおける対流支配的な規則は、ゆっくりとしたコルモゴロフ n-幅の崩壊をもたらす。 我々は,Carlbergらによって導入された非線形多様体法を,オーバーコロケーションの削減とデコーダの教師/学生による学習により実現した。 本研究では,2次元非線形保存法と2次元浅水モデルを用いて方法論を検証し,時間とともに動的に進化する純粋データ駆動型手法と長期記憶ネットワークとの比較を行った。
  論文  参考訳（メタデータ） (2022-03-01T11:16:50Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Learning Nonlinear Waves in Plasmon-induced Transparency [0.0]
  プラズモン誘起透過性メタマテリアルシステムにおける非線形ソリトンの複雑な伝播を予測するためのリカレントニューラルネットワーク(RNN)アプローチを検討する。 我々は,長期記憶(LSTM)人工ニューラルネットワークによるシミュレーションと予測において,結果の顕著な一致を証明した。
  論文  参考訳（メタデータ） (2021-07-31T21:21:44Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。