論文の概要: Granger Causality using Neural Networks
- arxiv url: http://arxiv.org/abs/2208.03703v2
- Date: Wed, 7 Aug 2024 09:18:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 18:42:56.219930
- Title: Granger Causality using Neural Networks
- Title(参考訳): ニューラルネットワークを用いたグランガー因果関係
- Authors: Malik Shahid Sultan, Samuel Horvath, Hernando Ombao,
- Abstract要約: 本稿では,非線型性を計算的に効率的に処理できる新しいモデルのクラスを提案する。
罰則を分離することで、遅延と個々の時系列の重要度を直接分離できることを示す。
GC推定のプロセス中にラグ順を選択したいので、これは重要です。
- 参考スコア(独自算出の注目度): 7.62566998854384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dependence between nodes in a network is an important concept that pervades many areas including finance, politics, sociology, genomics and the brain sciences. One way to characterize dependence between components of a multivariate time series data is via Granger Causality (GC). Standard traditional approaches to GC estimation / inference commonly assume linear dynamics, however such simplification does not hold in many real-world applications where signals are inherently non-linear. In such cases, imposing linear models such as vector autoregressive (VAR) models can lead to mis-characterization of true Granger Causal interactions. To overcome this limitation, Tank et al (IEEE Transactions on Pattern Analysis and Machine Learning, 2022) proposed a solution that uses neural networks with sparse regularization penalties. The regularization encourages learnable weights to be sparse, which enables inference on GC. This paper overcomes the limitations of current methods by leveraging advances in machine learning and deep learning which have been demonstrated to learn hidden patterns in the data. We propose novel classes of models that can handle underlying non-linearity in a computationally efficient manner, simultaneously providing GC and lag order selection. Firstly, we present the Learned Kernel VAR (LeKVAR) model that learns kernel parameterized by a shared neural net followed by penalization on learnable weights to discover GC structure. Secondly, we show one can directly decouple lags and individual time series importance via decoupled penalties. This is important as we want to select the lag order during the process of GC estimation. This decoupling acts as a filtering and can be extended to any DL model including Multi-Layer Perceptrons (MLP), Recurrent Neural Networks (RNN), Long Short Term Memory Networks (LSTM), Transformers etc, for simultaneous GC estimation and lag selection.
- Abstract(参考訳): ネットワーク内のノード間の依存は、金融、政治、社会学、ゲノム学、脳科学など多くの分野に浸透する重要な概念である。
多変量時系列データのコンポーネント間の依存を特徴付ける方法の1つは、Granger Causality (GC) である。
GC推定/推論の標準的なアプローチは一般に線形力学を前提としているが、信号が本質的に非線形である実世界の多くのアプリケーションではそのような単純化は成り立たない。
そのような場合、ベクトル自己回帰(VAR)モデルのような線形モデルを与えると、真のグランガー因果相互作用の誤特徴づけにつながる可能性がある。
この制限を克服するため、Tant et al (IEEE Transactions on Pattern Analysis and Machine Learning, 2022) は、少ない正規化のペナルティを持つニューラルネットワークを使用するソリューションを提案した。
正規化は学習可能なウェイトをスパースにし、GCの推論を可能にする。
本稿では、データに隠されたパターンを学習するために実証された機械学習とディープラーニングの進歩を活用することで、現在の手法の限界を克服する。
本稿では,GCとラグ順序の選択を同時に行うことによって,基礎となる非線形性を計算的に効率的に処理できる新しいモデルのクラスを提案する。
まず、共有ニューラルネットワークでパラメータ化されたカーネルを学習し、学習可能な重みに対するペナル化を行い、GC構造を発見するLearted Kernel VAR(LeKVAR)モデルを提案する。
第2に,脱カップリングしたペナルティによって,遅延と個々の時系列の重要度を直接分離できることを示す。
GC推定のプロセス中にラグ順を選択したいので、これは重要です。
この分離はフィルタリングとして機能し、マルチ層パーセプトロン(MLP)、リカレントニューラルネットワーク(RNN)、Long Short Term Memory Networks(LSTM)、Transformerなどを含む任意のDLモデルに拡張して、GC推定とラグ選択を同時に行うことができる。
関連論文リスト
- Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers [42.69799418639716]
深層学習モデルは、共役勾配 (CG) 法のような線形解法を反復する際の残差を予条件として用いることができる。
ニューラルネットワークモデルは、この設定でうまく近似するために、膨大な数のパラメータを必要とする。
本研究では,線形代数学から確立したプレコンディショナーを思い出し,GNNの学習の出発点として利用する。
論文 参考訳(メタデータ) (2024-05-24T13:44:30Z) - Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。
この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
論文 参考訳(メタデータ) (2024-04-29T23:38:58Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳(メタデータ) (2023-10-22T23:56:19Z) - Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
論文 参考訳(メタデータ) (2023-10-04T07:14:43Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳(メタデータ) (2023-04-14T09:39:06Z) - What learning algorithm is in-context learning? Investigations with
linear models [87.91612418166464]
本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。
訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。
文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
論文 参考訳(メタデータ) (2022-11-28T18:59:51Z) - Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling
and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。
異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。
出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文 参考訳(メタデータ) (2022-03-29T21:18:47Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Neural Jump Ordinary Differential Equations: Consistent Continuous-Time
Prediction and Filtering [6.445605125467574]
我々は、連続的に学習するデータ駆動型アプローチを提供するNeural Jump ODE(NJ-ODE)を紹介する。
我々のモデルは、$L2$-Optimalオンライン予測に収束することを示す。
我々は,より複雑な学習タスクにおいて,モデルがベースラインより優れていることを示す。
論文 参考訳(メタデータ) (2020-06-08T16:34:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。