論文の概要: DeLELSTM: Decomposition-based Linear Explainable LSTM to Capture
Instantaneous and Long-term Effects in Time Series
- arxiv url: http://arxiv.org/abs/2308.13797v1
- Date: Sat, 26 Aug 2023 07:45:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 18:57:33.261697
- Title: DeLELSTM: Decomposition-based Linear Explainable LSTM to Capture
Instantaneous and Long-term Effects in Time Series
- Title（参考訳）: DeLELSTM: 分解に基づく線形説明可能なLSTMによる時系列の瞬時・長期的影響の把握
- Authors: Chaoqun Wang, Yijun Li, Xiangqian Sun, Qi Wu, Dongdong Wang and
Zhixiang Huang
- Abstract要約: LSTMの解釈性を改善するために,分解に基づく線形説明可能LSTM(DeLELSTM)を提案する。
3つの経験的データセット上でのDeLELSTMの有効性と解釈性を示す。
- 参考スコア（独自算出の注目度）: 26.378073712630467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series forecasting is prevalent in various real-world applications.
Despite the promising results of deep learning models in time series
forecasting, especially the Recurrent Neural Networks (RNNs), the explanations
of time series models, which are critical in high-stakes applications, have
received little attention. In this paper, we propose a Decomposition-based
Linear Explainable LSTM (DeLELSTM) to improve the interpretability of LSTM.
Conventionally, the interpretability of RNNs only concentrates on the variable
importance and time importance. We additionally distinguish between the
instantaneous influence of new coming data and the long-term effects of
historical data. Specifically, DeLELSTM consists of two components, i.e.,
standard LSTM and tensorized LSTM. The tensorized LSTM assigns each variable
with a unique hidden state making up a matrix $\mathbf{h}_t$, and the standard
LSTM models all the variables with a shared hidden state $\mathbf{H}_t$. By
decomposing the $\mathbf{H}_t$ into the linear combination of past information
$\mathbf{h}_{t-1}$ and the fresh information $\mathbf{h}_{t}-\mathbf{h}_{t-1}$,
we can get the instantaneous influence and the long-term effect of each
variable. In addition, the advantage of linear regression also makes the
explanation transparent and clear. We demonstrate the effectiveness and
interpretability of DeLELSTM on three empirical datasets. Extensive experiments
show that the proposed method achieves competitive performance against the
baseline methods and provides a reliable explanation relative to domain
knowledge.
- Abstract（参考訳）: 時系列予測は様々な実世界のアプリケーションで広く使われている。
時系列予測におけるディープラーニングモデル,特にリカレントニューラルネットワーク(RNN)の有望な結果にもかかわらず,高スループットアプリケーションにおいて重要な時系列モデルの説明はほとんど注目されていない。
本稿では,分解に基づく線形説明可能LSTM(DeLELSTM)を提案し,LSTMの解釈性を改善する。
従来、rnnの解釈性は、変数の重要性と時間の重要性にのみ集中する。
さらに,新たなデータによる即時的影響と,歴史的データの長期的影響を区別する。
具体的には、DeLELSTMは標準LSTMとテンソル化LSTMの2つのコンポーネントから構成される。
テンソル化LSTMは、行列 $\mathbf{h}_t$ を構成するユニークな隠れ状態を持つ各変数を割り当て、標準LSTMは共有隠れ状態 $\mathbf{H}_t$ を持つすべての変数をモデル化する。
過去の情報 $\mathbf{h}_{t-1}$ と新鮮な情報 $\mathbf{h}_{t}-\mathbf{h}_{t-1}$ の線形結合に$\mathbf{h}_t$ を分解することで、各変数の瞬時の影響と長期的な効果を得ることができる。
さらに、線形回帰の利点は、説明を透明かつ明確にする。
3つの経験的データセット上でのDeLELSTMの有効性と解釈性を示す。
大規模な実験により,提案手法は基本手法と競合する性能を示し,ドメイン知識に対する信頼性の高い説明を提供する。
関連論文リスト
- packetLSTM: Dynamic LSTM Framework for Streaming Data with Varying Feature Space [44.62845936150961]
ストリーミングデータの入力特徴空間の変化を特徴とするオンライン学習問題について検討する。
次元変化ストリームをモデル化するために,パケットLSTMと呼ばれる動的LSTMに基づく新しい手法を提案する。
packetLSTMは5つのデータセットで最先端の結果を達成し、その基本原則はGRUやバニラRNNといった他のRNNタイプにも拡張されている。
論文 参考訳（メタデータ） (2024-10-22T20:01:39Z) - On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。
We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
論文 参考訳（メタデータ） (2024-02-22T21:55:41Z) - B-LSTM-MIONet: Bayesian LSTM-based Neural Operators for Learning the
Response of Complex Dynamical Systems to Length-Variant Multiple Input
Functions [6.75867828529733]
マルチインプットディープニューラル演算子(MIONet)は、異なるバナッハ空間における複数の入力関数を可能にするためにDeepONetを拡張した。
MIONetは、出力位置の制約なしにデータセットグリッド間隔をトレーニングする柔軟性を提供する。
この作業はMIONetを再設計し、Long Short Term Memory(LSTM)を統合して、時間依存のデータからニューラル演算子を学ぶ。
論文 参考訳（メタデータ） (2023-11-28T04:58:17Z) - RigLSTM: Recurrent Independent Grid LSTM for Generalizable Sequence
Learning [75.61681328968714]
本稿では,対象タスクの基盤となるモジュール構造を利用するために,リカレントな独立したGrid LSTM(RigLSTM)を提案する。
本モデルでは, セル選択, 入力特徴選択, 隠れ状態選択, ソフト状態更新を採用し, より優れた一般化を実現する。
論文 参考訳（メタデータ） (2023-11-03T07:40:06Z) - Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。
本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文 参考訳（メタデータ） (2022-08-28T17:50:19Z) - Learning Mixtures of Linear Dynamical Systems [94.49754087817931]
そこで我々は,2段階のメタアルゴリズムを開発し,各基底構造LPSモデルを誤り$tildeO(sqrtd/T)$.sqrtd/T)まで効率的に復元する。
提案手法の有効性を検証し,数値実験による理論的研究を検証する。
論文 参考訳（メタデータ） (2022-01-26T22:26:01Z) - Combining Recurrent, Convolutional, and Continuous-time Models with
Linear State-Space Layers [21.09321438439848]
一般化する制御系にインスパイアされた単純なシーケンスモデルを導入する。
LSSLモデルは上記の3つのモデルのファミリーと密接な関係を示し、その強みを継承する。
例えば、畳み込みを連続時間に一般化し、共通のRNN-1を説明し、時間スケール適応のようなNDEの特徴を共有する。
論文 参考訳（メタデータ） (2021-10-26T19:44:53Z) - Compressing LSTM Networks by Matrix Product Operators [7.395226141345625]
Long Short Term Memory(LSTM)モデルは、多くの最先端自然言語処理(NLP)と音声強調(SE)アルゴリズムの構築ブロックである。
ここでは、量子多体物理学における量子状態の局所的相関を記述するMPO分解を紹介する。
LSTMモデルを置き換えるために,行列積演算子(MPO)に基づくニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-12-22T11:50:06Z) - Learning summary features of time series for likelihood free inference [93.08098361687722]
時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。
以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
論文 参考訳（メタデータ） (2020-12-04T19:21:37Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - Long short-term memory networks and laglasso for bond yield forecasting:
Peeping inside the black box [10.412912723760172]
長期記憶(LSTM)ネットワークを用いた結合収率予測の最初の研究を行った。
我々は,シーケンス・ツー・シーケンス・アーキテクチャを用いて,メモリセル内の選択された位置におけるLSTM信号の時間的計算を行う。
論文 参考訳（メタデータ） (2020-05-05T14:23:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。