# (参考訳) 確率時系列予測のための学習解釈可能な深部状態空間モデル [全文訳有]

Learning Interpretable Deep State Space Model for Probabilistic Time Series Forecasting ( http://arxiv.org/abs/2102.00397v1 )

ライセンス: CC BY 4.0
Longyuan Li, Junchi Yan, Xiaokang Yang, and Yaohui Jin(参考訳) 確率的時系列予測は、下流意思決定におけるリスク管理に不可欠な、その歴史に基づく未来分布の推定を伴う。 非線形放出モデルと遷移モデルがネットワークによってパラメータ化され、依存性が繰り返しニューラルネットによってモデル化される確率時系列予測のための深部状態空間モデルを提案する。 我々は,自動関係決定(ARD)の視点を取り入れ,時系列に加えて外因性変数を利用するネットワークを考案する。 特に,我々のARDネットワークは,外因性変数の不確実性を組み込んで,有用な外因性変数の同定と予測に無関係な変数の抑制に役立てることができる。 マルチステップ予測の分布はモンテカルロシミュレーションによって近似される。 実験では,モデルが正確かつ鋭い確率予測を生成することを示す。 予測の不確実性の推定は、時間とともに、自然に、現実的に増加する。

Probabilistic time series forecasting involves estimating the distribution of future based on its history, which is essential for risk management in downstream decision-making. We propose a deep state space model for probabilistic time series forecasting whereby the non-linear emission model and transition model are parameterized by networks and the dependency is modeled by recurrent neural nets. We take the automatic relevance determination (ARD) view and devise a network to exploit the exogenous variables in addition to time series. In particular, our ARD network can incorporate the uncertainty of the exogenous variables and eventually helps identify useful exogenous variables and suppress those irrelevant for forecasting. The distribution of multi-step ahead forecasts are approximated by Monte Carlo simulation. We show in experiments that our model produces accurate and sharp probabilistic forecasts. The estimated uncertainty of our forecasting also realistically increases over time, in a spontaneous manner.
公開日: Sun, 31 Jan 2021 06:49:33 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。


    Page: /      
Learning Interpretable Deep State Space Model for 解釈可能なDeep State Space Modelの学習 0.86
Probabilistic Time Series Forecasting Longyuan Li1,2 , Junchi Yan2,3∗ , Xiaokang Yang2,3 and Yaohui Jin1,2∗ 1State Key Lab of Advanced Optical Communication System wand Network 確率的時系列予測 長元のLi1,2, Junchi Yan2,3∗, Xiaokang Yang2,3, Yaohui Jin1,2∗ 1State Key Lab of Advanced Optical Communication System wand Network 0.75
2MoE Key Lab of Artificial Intelligence, AI Institute 3Department of Computer Science and Engineering 2MoE Key Lab of Artificial Intelligence, AI Institute 3 Department of Computer Science and Engineering 0.95
Shanghai Jiao Tong University {jeffli, yanjunchi,xkyang,jin yh}@sjtu.edu.cn 上海江東大学 jeffli, yanjunchi, xkyang,jinyh}@sjtu.edu.cn 0.73
1 2 0 2 n a J 1 2 0 2 n a J 0.85
1 3 ] G L . 1 3 ] G L。 0.81
s c [ 1 v 7 9 3 0 0 sc [ 1 v 7 9 3 0 0 0.68
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
Abstract Probabilistic time series forecasting involves estimating the distribution of future based on its history, which is essential for risk management in downstream decision-making. 概要 確率的時系列予測は、下流意思決定におけるリスク管理に不可欠な、その歴史に基づく未来分布の推定を伴う。 0.63
We propose a deep state space model for probabilistic time series forecasting whereby the non-linear emission model and transition model are parameterized by networks and the dependency is modeled by recurrent neural nets. 非線形放出モデルと遷移モデルがネットワークによってパラメータ化され、依存性が繰り返しニューラルネットによってモデル化される確率時系列予測のための深部状態空間モデルを提案する。 0.82
We take the automatic relevance determination (ARD) view and devise a network to exploit the exogenous variables in addition to time series. 我々は,自動関係決定(ARD)の視点を取り入れ,時系列に加えて外因性変数を利用するネットワークを考案する。 0.80
In particular, our ARD network can incorporate the uncertainty of the exogenous variables and eventually helps identify useful exogenous variables and suppress those irrelevant for forecasting. 特に,我々のARDネットワークは,外因性変数の不確実性を組み込んで,有用な外因性変数の同定と予測に無関係な変数の抑制に役立てることができる。 0.62
The distribution of multi-step ahead forecasts are approximated by Monte Carlo simulation. マルチステップ予測の分布はモンテカルロシミュレーションによって近似される。 0.85
We show in experiments that our model produces accurate and sharp probabilistic forecasts. 実験では,モデルが正確かつ鋭い確率予測を生成することを示す。 0.76
The estimated uncertainty of our forecasting also realistically increases over time, in a spontaneous manner. 予測の不確実性の推定は、時間とともに、自然に、現実的に増加する。 0.65
1 Introduction and Related Works 1.1 Background and Motivation Time series forecasting is a long-standing problem in literature, which has attracted extensive attention over the decades. 1 導入と関連する作品 1.1 背景とモチベーション 時系列予測は、文学における長年にわたる問題であり、数十年にわたって大きな注目を集めてきた。 0.64
For downstream decision-making applications, one important feature for a forecasting model is to issue long-term forecasts with effective uncertainty estimation. 下流意思決定アプリケーションでは、予測モデルの重要な特徴の1つは、効果的な不確実性推定を伴う長期予測を発行することである。 0.63
Meanwhile the relevant factors, in the form of exogenous variables in addition to the time series data, can be robustly identified, to improve the interpretation of the model and results. 一方、時系列データに加えて外因性変数の形で関連する因子をロバストに同定し、モデルと結果の解釈を改善することができる。 0.71
To address these challenges, in this paper, we develop an approach comprising a state space based generative model and a filtering based inference model, whereby the nonlinearity of both emission and transition models is achieved ∗Yaohui Jin and Junchi Yan are corresponding authors. 本稿では,これらの課題に対処するために,状態空間に基づく生成モデルとフィルタに基づく推論モデルを組み合わせた手法を開発し,放射モデルと遷移モデルの双方の非線形性が対応する著者である ∗yaohui jin と junchi yan を導出する。 0.80
This work is supported by National Key Research and Development Program of China (2018YFC0830400), (2016YFB1001003), STCSM(18DZ1112300). この研究はnational key research and development program of china (2018yfc0830400), (2016yfb1001003), stcsm (18dz1112300) によって支援されている。 0.69
by deep networks and so for the dependency over time by recurrent neural nets. 深いネットワークによって等繰り返しの神経網による経時的な依存のために。 0.74
Such a network based parameterization provides the flexibility to fit with arbitrary data distribution. このようなネットワークベースのパラメータ化は、任意のデータ分散に適合する柔軟性を提供する。 0.69
The model is also tailored to effectively exploit the exogenous variables along with the time series data, and the multi-step forward forecasting is fulfilled by Monte Carlo simulation. モデルはまた、時系列データとともに外因性変数を効果的に利用するために調整され、マルチステップ前方予測はモンテカルロシミュレーションによって達成される。 0.78
In a nut shell the highlights of our work are: 私たちの作品のハイライトは以下のとおりです。 0.53
1) We present a novel deep state space model for probabilistic time series forecasting, which can i) handle arbitrary data distribution via nonlinear network parameterization based on the proposed deep state space model; ii) provide interpretable forecasting by incorporating extra exogenous variable information using the devised ARD network; iii) uncertainty modeling of the exogenous variables to improve the robustness of variable selection. 1) 確率的時系列予測のための新しい深部状態空間モデルを提案する。i) 提案する深部状態空間モデルに基づく非線形ネットワークパラメータ化による任意のデータ分布の処理, ii) 考案したardネットワークを用いた外部外在的変数情報の導入による解釈可能な予測,iii) 変数選択のロバスト性を改善するための外在的変数の不確かさモデルを提案する。 0.82
We believe these techniques as a whole are indispensable for a practical forecasting engine and each of them may also be reused in other pipelines. これらの技術は、実用的な予測エンジンには不可欠であり、それぞれが他のパイプラインで再利用される可能性があると考えています。
訳抜け防止モード: 我々はこれらの技術全体が実用的な予測エンジンには不可欠であると信じている。 それぞれは他のパイプラインでも再利用できます
2) In particular, by taking the automatic relevance determination (ARD) view [Wipf and Nagarajan, 2008], we devise an ARD network which can estimate exogenous variables’ relevance to the forecasting task. 2)特に,自動妥当性決定(ARD)の視点(Wipf and Nagarajan, 2008)を用いて,予測タスクに対する外因性変数の関連性を推定できるARDネットワークを考案した。 0.83
We further consider and devise the Monte Carlo sampling method to model the uncertainty of the exogenous variables. さらに,外因性変数の不確かさをモデル化するためにモンテカルロサンプリング法を考案する。 0.72
It is expected (and empirically verified) to capture interpretable structures from time series which can also benefit long-term forecast accuracy. 長期予測精度の恩恵を受けることができる時系列から解釈可能な構造をキャプチャすることが(そして実証的に)期待されます。 0.69
3) We conduct experiments on a public real-world benchmark, showing the superiority of our approach against stateof-the-art methods. 3) 実世界の公開ベンチマークで実験を行い, 最先端手法に対するアプローチの優位性を示した。 0.72
In particular, we find our approach can spontaneously issue forecasting results with reasonable growing uncertainty over time steps and help uncover the key exogenous variables relevant to the forecasting task. 特に,本手法は,時間経過とともに適切な不確実性を持つ予測結果を自発的に発行し,予測タスクに関連する重要な外因性変数を明らかにするのに役立つ。 0.68
1.2 Related Works Time Series Forecasting Classical models such as auto-regressive (AR) and exponential smoothing [Brockwell et al., 2002] have a long history for forecasting. 1.2 関連作業時間時系列予測 オート回帰 (AR) や指数的平滑化 (Brockwell et al., 2002) のような古典的モデルには予測の長い歴史がある。 0.79
They incorporate human priors about time series structure such as trend, seasonality explicitly, and thus have difficulty with diverse dependency and complex structure. 傾向、季節性などの時系列構造に関する人間の優先順位を明示的に組み込むため、多様な依存性や複雑な構造では困難です。 0.69
With recent development of deep learning, RNNs have been investigated in the context of time series point forecasting, the work [Längkvist et al., 2014] reviews deep learning methods for time series modelling in various fields. 近年の深層学習の発展に伴い、rnnは時系列予測の文脈で研究され、[längkvist et al., 2014] 様々な分野における時系列モデリングのための深層学習手法をレビューしている。
訳抜け防止モード: 近年の深層学習の発展に伴い,RNNは時系列点予測の文脈で研究されている。 The work [Längkvist et al , 2014 ] review deep learning methods for time series modelling in various fields.
With their 彼らと一緒に 0.52
capability to learn non-linear dependencies, deep nets can extract high order features from raw time series. 非線形依存性を学習する機能、ディープネットは生時系列から高次特徴を抽出できます。 0.72
Although the results are seemingly encouraging, deterministic RNNs lack the ability to make probabilistic forecasts. 結果は前向きに見えるが、決定論的rnnには確率的予測能力がない。 0.63
[Flunkert et al., 2017] proposes DeepAR, which employs an auto-regressive RNN with mean and standard deviation as output for probabilistic forecasts. Flunkert et al., 2017]は、確率予測の出力として平均偏差と標準偏差を持つ自動回帰RNNを採用するDeepARを提案する。 0.79
Variational Auto-Encoders (VAEs) Deep generative models are powerful tools for learning representations from complex data [Bengio et al., 2013]. variational auto-encoder (vaes) deep generative modelは複雑なデータから表現を学ぶための強力なツールである [bengio et al., 2013]。
訳抜け防止モード: 変分オート-エンコーダ(VAE) 深部生成モデルは強力なツールである 複雑なデータから表現を学ぶ[Bengio et al , 2013 ]。
However, posterior inference of non-linear non-Gaussian generative models is commonly recognized as intractable. しかし、非線形非ガウジアン生成モデルの後方推定は一般に難解であると認識されている。 0.61
The idea of variational auto-encoder [Kingma and Welling, 2013] is to use neural networks as powerful functional approximators to approximate the true posterior, combined with reparameterization tick, learning of deep generative models can be tractable. 変分自動エンコーダ(Kingma and Welling, 2013)のアイデアは、ニューラルネットワークを強力な機能近似器として使用して、真の後部を近似し、再パラメータ化ティッチと組み合わせることで、深部生成モデルの学習を抽出することができる。 0.64
State Space Models (SSMs) SSMs provide a unified framework for modelling time series data. State Space Models (SSM) SSMは時系列データをモデリングするための統一されたフレームワークを提供する。 0.76
Classical AR models e.g. 古典的なARモデルなど。 0.70
ARIMA can be represented in state space form [Durbin and Koopman, 2012]. ARIMAは状態空間形式[Durbin and Koopman, 2012]で表現できます。 0.77
To leverage advances in deep learning, [Chung et al., 2015] and [Fraccaro et al., 2016] draw connections between SSMs and VAEs using an RNN. 深層学習の進歩を活用するため, [Chung et al., 2015] と [Fraccaro et al., 2016] は, RNN を用いて,SSM と VAE の接続を描画する。 0.82
Deep Kalman filters (DKFs) [Krishnan et al., 2015; Krishnan et al., 2017] further allow exogenous input in the state space models. Deep Kalman filters (DKFs) [Krishnan et al., 2015; Krishnan et al., 2017] は、状態空間モデルにおける外因性入力をさらに許容する。 0.93
For forecasts, deep state space models (DSSM) [Rangapuram et al., 2018] use an RNN to generate parameters of a linear-Gaussian state space model (LGSSM) at each time step. 予測では, ディープステート空間モデル (DSSM) [Rangapuram et al., 2018] は, RNN を用いて各ステップで線形ガウス状態空間モデル (LGSSM) のパラメータを生成する。 0.86
Another line of work for building nonlinear55ssian assumption of GP-SSMs may be restrictive to non-Gaussian data. gp-ssmsの非線形55ssの仮定を構築する別の作業は、非ガウスデータに制限される。 0.50
Moreover, inference at each time step has at least o-p;-O(T ) complexity for the number of past observations even with sparse GP approximations. さらに、各時間ステップでの推論は、疎GP近似であっても過去の観測回数に対して少なくともo-p;-O(T ) の複雑さを持つ。 0.72
Perhaps the most closely related works are DSSM [Rangapuram et al., 2018] and DeepAR [Flunkert et al., 2017]. おそらく最も密接に関連する作品はDSSM [Rangapuram et al., 2018]とDeepAR [Flunkert et al., 2017]です。 0.82
Compared with DSSM, the emission model and transition model are non-linear, and our model supports non-Gaussian likelihood. DSSMと比較すると,エミッションモデルとトランジションモデルは非線形であり,このモデルが非ガウス的可能性を支持する。 0.69
Compared with DeepAR, target values are not used as inputs directly in our approach, making it more robust to noise. DeepARと比較して、ターゲット値は我々のアプローチでは直接入力には使用されず、ノイズに対してより堅牢になる。 0.70
Also forecasting samples can be generated computationally more efficiently as the RNN only need to be unrolled once for the entire forecast, whereas DeepAR has to unroll the RNN with entire time series for each sample. また、RNNは予測全体に対して一度だけアンロールする必要があるのに対して、DeepARは各サンプルに対して全時間系列でRNNをアンロールする必要があるため、より効率的に予測サンプルを生成することができる。 0.65
Moreover, our model supports exogenous variables with uncertainty as input in the forecasting period. さらに,予測期間に不確かさを入力として,外因性変数をサポートする。 0.69
Our model learns relevance of exogenous variables automatically, leading to improvement in interpretability and enhanced forecasting performance. 本モデルは,外因性変数の関連性を自動学習し,解釈性の向上と予測性能の向上をもたらす。 0.73
1.3 Preliminaries Problem Formulation Consider we have an M-dimensional multi-variate series having T time steps: x1:T = {x1, x2, . 1.3 予備問題定式化 T の時間ステップを持つ M-次元多変量級数を考える: x1:T = {x1, x2, . 0.78
. . , xT} where each xt ∈ RM , and x1:T ∈ RM×T . . . ここでは、各 xt ∈ RM と x1:T ∈ RM×T が成り立つ。 0.84
Let u1:T +τ be a set of synchronized time-varying exogenous variables associated with x1:T , where each ut ∈ RD. u1:T +τ を x1:T に関連する同期時間変化外生変数の集合とし、各 ut ∈ RD とする。 0.87
Our goal is to estimate the distribution of future window xT +1:T +τ given its history x1:T and extended exogenous variables u1:T +τ until the future: 我々のゴールは、その歴史 x1:T と拡張外生変数 u1:T +τ から将来のウィンドウ xT +1:T +τ の分布を推定することである。 0.82
pθ (xT +1:T +τ|x1:T , u1:T +τ ) xT +1:T + ×|x1:T , u1:T + ) 0.81
(1) where θ denotes the model parameters. (1) ここで θ はモデルパラメータを表す。 0.82
To prevent confusion for past and future, in the rest of this paper we refer time steps {1, 2, . 過去と未来の混乱を避けるため、この論文の残りの部分では、時間ステップ {1, 2, を参照する。 0.75
. . , T} as training period, and {T + 1, T + 2, . . . 訓練期間として T {\displaystyle T} と {T + 1, T + 2,} である。 0.83
. . , T + τ} as forecasting period. . . , T + τ} を予測期間とする。 0.86
The time step T + 1 is referred to as forecast start time, and τ ∈ N+ is the forecast horizon. 時間ステップ T + 1 は予測開始時間と呼ばれ、τ ∈ N+ は予測水平線である。 0.77
Note that the exogenous variables µ1:T +τ are assumed to be known in both training period and forecasting period, and we allow it to be uncertain and follow some probability distribution ut ∼ p(ut) in the forecasting period. 外因性変数 μ1:T + は、訓練期間と予測期間の両方で知られていると仮定し、不確実であり、予測期間における確率分布 ut と p(ut) に従うことを許す。 0.77
State Space Models (SSMs) Given observation sequence x1:T and its conditioned exogenous variables u1:T , a probabilistic latent variable model is: 状態空間モデル (ssms) 与えられた観測シーケンス x1:t とその条件付き外因性変数 u1:t ,確率的潜在変数モデル 0.86
(cid:90) T(cid:89) T(cid:89) (cid:90) T(cid:89) T(cid:89) 0.80
t=1 t=1 p(x1:T|u1:T ) = p(x1:T|z1:T , u1:T )p(z1:T|u1:T )dz1:T (2) where z1:T for zt ∈ RnZ denotes sequence of latent stochastic states. t=1 t=1 p(x1:T|u1:T ) = p(x1:T|z1:T , u1:T )p(z1:T|u1:T )dz1:T (2) ここで z1:T for zt ∈ RnZ は潜在確率状態の列を表す。 0.66
The generative model is composed of an emission model pθ (x1:T|z1:T , u1:T ) and a transition model pθ (z1:T|u1:T ). 生成モデルは、エミッションモデル(x1:T|z1:T , u1:T )と遷移モデル(z1:T|u1:T )からなる。 0.88
To obtain state space models, first-order Markov assumption is imposed on the latent sates, and then the emission model and transition model can be factorized: 状態空間モデルを得るために、一階のマルコフ仮定を潜在セートに課し、エミッションモデルと遷移モデルを分解することができる。 0.70
p(x1:T|z1:T , u1:T ) = p(x1:T|z1:T , u1:T ) = 0.87
p(z1:T|u1:T ) = p(z1:T|u1:T) = 0.84
p(xt|zt, ut) p(xt|zt, ut) 0.92
p(zt|zt−1, ut) p(zt|zt−1, ut) 0.75
(3) where the initial state w is assumed to be zero. (3) 初期状態 w が 0 であると仮定する。 0.76
2 Proposed Model In this section, we describe i) the deep state space model architecture including both the emission and transition models; ii) the proposed Automatic Relevance Determination (ARD) network to more effectively incorporate the exogenous variable information; iii) the techniques for model training; iv) the devised Monte Carlo simulation for multi-step probabilistic forecasting that can generate seemingly realistic uncertainty estimation over time. 2 モデルの提案 この節では,エミッションモデルと遷移モデルの両方を含む深部状態空間モデルアーキテクチャ,i)外因性変数情報をより効果的に組み込むための自動関係決定(ARD)ネットワーク,iii)モデルトレーニングのための技術,iv)時間とともに現実的な不確実性推定を生じるような多段階確率予測のためのモンテカルロシミュレーションについて述べる。 0.90
We present our approach using a single multi-variate time series sample for notational simplicity. 本稿では,単一多変量時系列サンプルを用いた表記法を提案する。 0.73
While in fact batches of sequence samples are used for training. 実際、シーケンスサンプルのバッチはトレーニングに使用されます。 0.65
2.1 Generative Model We propose a deep state space model, for the term deep it is reflected in two aspects: i) We use neural network to parameterize both the non-linear emission model and transition model; ii) We use recurrent neural networks (RNNs) to capture long-term dependencies. 2.1生成モデル ディープ・ステート・スペースという用語は2つの側面に反映される: i) 非線形エミッションモデルと遷移モデルの両方をパラメータ化するためにニューラルネットワークを使う; ii) リカレントニューラルネットワーク(recurrent neural network, rnns)を使用して長期的な依存関係を捉える。 0.79
State space models e.g. 状態空間モデルなど。 0.68
linear-Gaussian models and hidden Markov models are neither suitable for modelling long-term dependencies nor non-linear relationships. 線形ガウスモデルと隠れマルコフモデルは、長期依存や非線形関係のモデル化には適さない。 0.75
We relax the firstorder Markov assumption in Eq. eq における1次マルコフ仮定を緩和する。 0.56
3 by including a sequence of deterministic states h1:T recursively computed by RNNs to capture the long-term dependencies. RNNが長期依存関係をキャプチャするために再帰的に計算した、決定論的状態h1:Tのシーケンスを含む。 0.64
Here we simplify the model by assuming the state transition involves no exogenous ここで、状態遷移が外因性を持たないと仮定してモデルを単純化する。 0.60
(a) The proposed state space based generative model pθ (a)状態空間に基づく生成モデルpθの提案 0.92
(b) The proposed filtering based inference model qφ (b) フィルタに基づく推論モデルqφの提案 0.93
Figure 1: Proposed generative model and inference model. 図1:提案する生成モデルと推論モデル。 0.82
Shaded and white nodes are observations and hidden variables respectively. シェードノードとホワイトノードはそれぞれ観測変数と隠れ変数である。 0.74
Circle and diamond denote stochastic states and deterministic states respectively, and shaded square nodes denote exogenous variables. 円とダイヤモンドはそれぞれ確率状態と決定的状態を表し、陰の正方形ノードは外生変数を表す。 0.73
variable1. The generative model is shown in Fig. 変数1。 生成モデルは図に示されています。 0.74
1(a), and the joint probability distribution can be factorized as: 1(a) と結合確率分布は次のように分解できる。 0.65
pθ (x1:T , z1:T , h1:T ) pθ (x1:T , z1:T , h1:T ) 0.93
T(cid:89) t=1 T(cid:89) t=1 0.71
= fθd (·) to capture temporal dependency. = fθd (·) 時間依存を取り込む。 0.82
For stochastic transition, we take the following parameterization: 確率的遷移には、次のパラメータ化を用いる。 0.66
µθz (t) = NN1(zt−1, ht, ut), σθz (t) = SoftPlus[NN2(zt−1, ht, ut)] μθz (t) = NN1(zt−1, ht, ut), σθz (t) = SoftPlus[NN2(zt−1, ht, ut)] 0.96
(8) where NN1 and NN2 denotes two neural networks parameterized by θz, and SoftPlus[x] = log(1 + exp(x)). (8) ここで NN1 と NN2 は θz でパラメータ化された2つのニューラルネットワークを表し、SoftPlus[x] = log(1 + exp(x)) である。 0.79
For Tθx (zt, ht, ut), we also use networks to parameterize the mapping. タックス (zt, ht, ut) では、マッピングのパラメータ化にもネットワークを使用します。 0.77
In order to constrain real-valued output ˜y = NN((zt, ht, ut)) to the parameter domain, we use the following transformations: パラメータドメインに対して、実値出力(y = NN((zt, ht, ut))を制限するために、以下の変換を使用します。 0.65
1 • real-valued parameters : no transformation. 1 • 実値パラメータ: 変換なし。 0.84
• positive parameters: the SoftPlus function. • 正のパラメータ: SoftPlus 関数。 0.75
• bounded parameters [a, b]: scale and shifted Sigmoid function y = (b − a) •有界パラメータ [a, b]:スケールおよびシフトしたシグモイド関数 y = (b − a) 0.79
1+exp(−˜y) + a 2.2 Structure Inference Network We are interested in maximizing the log marginal likelihood, or evidence L(θ) = log pθ (x1:T|u1:T ), where the latent states and RNN states are integrated out. 1+exp(− yy) + a 2.2 構造推論ネットワーク 対数限界確率を最大化することに興味があり、あるいは L(θ) = log pθ (x1:T|u1:T ) という証拠に興味がある。 0.75
Integration of deterministic RNN states can be computed by simply substituting the deterministic values. 決定論的RNN状態の統合は、単に決定論的値に代えて計算することができる。 0.58
However the stochastic latent states can not be analytically integrated out, because the generative model is non-linear, and moreover the emission distribution may not be conjugate to latent state distribution. しかし、生成モデルは非線形であり、また放出分布は潜在状態分布と共役ではないため、確率的潜在状態は解析的に統合することはできない。 0.82
We resort to variational inference for approximating intractable posterior distribution [Jordan et al., 1999]. 我々は、難解な後方分布を近似するための変動推論に頼る[Jordan et al., 1999]。 0.72
Instead of maximizing L(θ), we build a structure inference network qφ parameterized by φ, with the following factorization in Fig. L(θ) を最大化する代わりに、φ でパラメータ化された構造推論ネットワーク qφ を構築し、次の因子化をFig で行う。 0.71
1(b): qφ(z1:T , h1:T|x1:T , u1:T ) 1(b): qφ(z1:T , h1:T|x1:T , u1:T ) 0.84
T(cid:89) t=1 T(cid:89) t=1 0.71
pθx (xt|zt, ht, ut)pθz (zt|zt−1, ht)pθh (ht|ht−1, xt−1) (4) pθx (xt|zt, ht, ut)pθz (zt|zt−1, ht)pθh (ht|ht−1, xt−1) (4) 0.67
= qφ(zt|zt−1, xt, ht, ut)pθh (ht|ht−1, xt−1) = qφ(zt|zt−1, xt, ht, ut)pθh(ht|ht−1, xt−1) 0.76
(9) We omit initial states z0 = 0 and h0 = 0 for brevity, and let x0 = x1 for cold starting. (9) 初期状態 z0 = 0 と h0 = 0 を簡潔に省略し、x0 = x1 をコールドスタートとする。 0.85
In state space form, our model can be represented as: 状態空間形式では、このモデルは次のように表現できる。 0.67
ht ∼ δ(ht − fθd (ht−1, xt−1)) zt ∼ N (µθz (zt−1, ht), Σθz(zt−1, ht)) xt ∼ PD(Tθx (zt, ht, ut)) ht > δ(ht − fθd (ht−1, xt−1)) zt > N (μθz (zt−1, ht), Σθz(zt−1, ht)) xt > PD(Tθx (zt, ht, ut)) 0.84
(5) (6) (7) where PD is an arbitrary probability distribution, and its sufficient statistic Tθx is parameterized by neural networks θx. (5) (6) (7) ここでpd は任意の確率分布であり、その十分な統計量 tθx はニューラルネットワーク θx によってパラメータ化される。 0.74
For stochastic latent states, µθz (·) and Σθz(·) mean and covariance functions for Gaussian distribution of state transitions, which are also parameterized by neural networks. 確率潜在状態に対して、μθz(·) と Σθz(·) は、ニューラルネットワークによってパラメータ化される状態遷移のガウス分布に対する共分散関数である。 0.72
For deterministic RNN states, fθd (·) is the RNN transition function, and δ(·) is a delta distribution, and ht can be viewed as following a delta distribution centered at fθd (ht−1, xt−1). 決定論的 RNN 状態の場合、fθd (·) は RNN 遷移関数であり、δ(·) はデルタ分布であり、ht は fθd (ht−1, xt−1) を中心とするデルタ分布とみなすことができる。 0.79
The deep state space model in Eq. Eqの深部状態空間モデル。 0.63
5,6,7 is parameterized by θ = {θx, θz, θh}, in our implementation, we use gated recurrent unit (GRU)[Cho et al., 2014] as transition function 5,6,7 は θ = {θx, θz, θh} でパラメータ化され、この実装ではゲート再帰単位(GRU)[Cho et al., 2014] を遷移関数として用いる。 0.79
1In experiments we empirically find using exogenous variables to parameterize the transition model can weaken the performance, which may be due to overfitting and we leave it for future work. 1 実験では、遷移モデルのパラメータ化に外因性変数を用いるとパフォーマンスが低下する可能性があり、これは過度に適合するためかもしれません。 0.76
where the same RNN transition network structure with the generative model is used. 生成モデルと同一のRNNトランジションネットワーク構造が使用される。 0.71
Note that we let stochastic latent states follow a isotropic Gaussian distribution, where covariance matrix Σ is diagonal: 確率潜在状態は、共分散行列 Σ が対角的である等方的ガウス分布に従わせることに注意。 0.71
µφ(t) = NN1(zt−1, xt, ht, ut), σφ(t) = SoftPlus[NN2(zt−1, xt, ht, ut)] μφ(t) = NN1(zt−1, xt, ht, ut), σφ(t) = SoftPlus[NN2(zt−1, xt, ht, ut)] 1.00
(10) qφ log L(θ, φ) = (10) qφログ L(θ, φ) = 0.84
pθ (x1:T , z1:T , h1:T|u1:T ) qφ(z1:T , h1:T|x1:T , u1:T ) pθ (x1:T , z1:T , h1:T|u1:T ) qφ(z1:T , h1:T|x1:T , u1:T ) 0.83
Then we maximize the variational evidence lower bound (ELBO) L(θ, φ) ≤ L(θ) [Jordan et al., 1999] with respect to both θ and φ, which is given by: 次に、以下で与えられる φ と φ の両方に関して、より低い有界 (ELBO) L(o, φ) ≤ L(o) [Jordan et al., 1999] の変動証拠を最大化します。 0.77
(cid:90)(cid:90) T(cid:88) − KL(qφ(zt|zt−1, xt, ht, ut)(cid:107)pθz (zt|zt−1, ht)) (11) where qφ(z1:T , h1:T|x1:T , u1:T ) is simplified by notation qφ, and KL denotes Kullback-Leibler (KL) divergence. (cid:90)(cid:88) T(cid:88) − KL(qφ(zt|zt−1, xt, ht, ut)(cid:107)pθz(zt|zt−1, ht)) (11) ここで qφ(z1:T , h1:T|x1:T , u1:T ) は qφ の表記で単純化され、KL は Kullback-Leibler (KL) の発散を表す。 0.72
Our model jointly learns parameters {θ, φ} of the generative 我々のモデルは生成元のパラメータ {θ, φ} を共同学習する 0.83
(cid:2) log pθx (xt|zt, ht, ut)(cid:3) (cid:2) log pθx (xt|zt, ht, ut)(cid:3) 0.78
E qφ(zt|zt−1,xt,ut,ht) E qφ(zt|zt−1,xt,ut,ht) 0.83
dz1:T dh1:T dz1:T dh1:T 0.92
= t=1 ht−1htht+1ut−1utut+1zt−1ztzt+1xt−1xtxt+1ht−1htht+1ut−1utut+1zt−1ztzt+1xt−1xtxt+1 = t=1 ht−1htht+1ut−1ututt+1zt−1ztzt+1xt−1xtxt+1ht−1htht+1ut−1ututt+1zt−1ztzt+1xt−1xt 0.50
Figure 2: Sketch of the devised automatic relevance determination (ARD) network for modeling associated exogenous variables u. 図2: 関連する外因性変数uをモデル化するために考案された自動関係決定(ARD)ネットワークのスケッチ。 0.76
over variables, we take the so-called automatic relevance determination (ARD) [Neal, 2012] view, where the basic idea is to learn an individual weight parameter w for each input feature to determine relevance. 変数の上では、いわゆるautomatic relevant determination (ard) [neal, 2012]ビューをとり、基本的な考え方は、各入力特徴の個々の重みパラメータwを学習して関連性を決定することである。 0.73
Techniques based on ARD are applied in many classical models, such as SVMs, Ridge regression, Gaussian Processes [Bishop and Tipping, 2000]. ARDに基づく技術は、SVM、リッジ回帰、ガウス過程[Bishop and Tipping, 2000]などの多くの古典的なモデルに適用されます。 0.72
Classical ARD approach is to treat w as a latent variable placed by some sparsity inducing prior p(w), to avoid complex posterior inference of weights w, we devise an automatic relevant determination (ARD) network whereby w is parameterized by a neural network with constant input: 古典的なARDアプローチは、wを前p(w)を誘導する余剰変数として扱い、重量wの複雑な後部推論を避けるために、wを一定の入力でニューラルネットワークによってパラメータ化する自動関連決定(ARD)ネットワークを考案する。 0.74
LSGVB = t=1 LSGVB = t=1 0.72
log pθx (xt|zt, ht, ut) log pθx (xt|zt, ht, ut) 0.84
model pθ and inference model qφ by maximizing ELBO in Eq. モデル pθ と推論モデル qφ は Eq で ELBO を最大化する。 0.74
11. However, latent states z1:T are stochastic thus the objective is not differentiable. 11. しかし、潜在状態 z1:T は確率的であるため、目的は微分不可能である。 0.69
To obtain differentiable estimation of the ELBO, we resort to Stochastic Gradient Variational Bayes (SGVB): LSGV B(θ, φ) (cid:39) L(θ, φ), since it provides efficient estimation of ELBO [Kingma and Welling, 2013]. ELBOの微分可能な推定を得るためには、ELBO [Kingma and Welling, 2013]の効率的な推定を提供するため、確率勾配変動ベイ(SGVB):LSGV B(*, φ) (cid:39) L(*, φ)に頼ります。 0.69
At each time step, instead of directly sampling from qφ(zt|zt−1, xt, ht, ut), our model samples from an auxiliary random variable  ∼ N (0, I), and re-parameterizes zt = µφ(t) +  (cid:12) σφ(t). それぞれの時間ステップにおいて、qφ(zt|zt−1, xt, ht, ut) から直接サンプリングする代わりに、我々のモデルサンプルは補助的確率変数 (0, I) から採取し、zt = μφ(t) + σφ(t) を再パラメータ化する。 0.85
As such, the gradient of the objective with respect to both θ and φ can be back-propagated through the sampled zt. したがって、θ と φ の両方に対する目的の勾配は、サンプルされた zt を通して逆伝播することができる。 0.68
Formally we have: T(cid:88) − KL(qφ(zt|zt−1, xt, ht, ut)(cid:107)pθz (zt|zt−1, ht)) (12) The SGVB estimation can be viewed as a single-sample Monte Carlo estimation of the ELBO. 正式には: T(cid:88) − KL(qφ(zt|zt−1, xt, ht, ut)(cid:107)pθz (zt|zt−1, ht)) (12) SGVB推定はELBOの単サンプルモンテカルロ推定と見なすことができる。 0.69
To reduce ELBO variance and seek a tighter bound, we propose to use multisampling variational objective [Mnih and Rezende, 2016; Burda et al., 2015]. ELBOの分散を減らし、より厳密な境界を求めるため、マルチサンプリング変動目的(Mnih and Rezende, 2016; Burda et al., 2015)を用いることを提案する。 0.72
It can be achieved by sampling K independent ELBOs and taking the average as objective: SGVB = 1 LK K 2.3 Automatic Relevance Determination Network In real-world, in addition to time series it-self, time series data are often correlated to a variety of exogenous variables depending on specific applications, such as: i) time-features: absolute time (trend), hour-of-day, day-of-week, month-ofyear (which can carry daily, weekly, yearly seasonality information); ii) flagged periods: such as national holidays, business hours, weekends; iii) measurements: weather, sensor readings. It can be achieved by sampling K independent ELBOs and taking the average as objective: SGVB = 1 LK K 2.3 Automatic Relevance Determination Network In real-world, in addition to time series it-self, time series data are often correlated to a variety of exogenous variables depending on specific applications, such as: i) time-features: absolute time (trend), hour-of-day, day-of-week, month-ofyear (which can carry daily, weekly, yearly seasonality information); ii) flagged periods: such as national holidays, business hours, weekends; iii) measurements: weather, sensor readings. 1.00
Those features can be incorporated in the form of exogenous variables. これらの特徴は外因性変数の形で組み込むことができる。 0.77
In particular, it is often the case that only a few of such variables are relevant to the forecasting task at hand. 特に、そのような変数のごく一部だけが、手元にある予測タスクに関係している場合が多い。
訳抜け防止モード: 特に 多くの場合 そのような変数のいくつかは、目の前の予測タスクに関係しています。
Existing methods [Wen et al., 2017; Rangapuram et al., 2018; Flunkert et al., 2017] select variables based on expert prior. 既存のメソッド [wen et al., 2017; rangapuram et al., 2018; flunkert et al., 2017] エキスパートプリミティブに基づいた変数を選択する。 0.82
To prune away redundant variables, we take a data-driven sparse Bayesian learning (SPL) approach. 冗長変数を抽出するために、データ駆動のスパースベイズ学習(SPL)アプローチを用いる。 0.73
Consider given variables u1:T +τ , we let: 与えられた変数 u1:T +τ を考えると、 0.76
(cid:80)K k=1 L(k) (cid:80)K k=1 L(k) 0.84
SGVB. (13) where uR t are relevant variables, w is weights of input variables that has the same shape with ut. SGVB。 (13) uR t が関連する変数である場合、w は ut と同じ形状の入力変数の重みである。 0.80
To impose sparsity sparsity (複数形 sparsities) 0.38
µR t = w (cid:12) ut μR t = w (cid:12) ut 0.88
w = SoftMax(NNARD(I)) W = SoftMax(NNARD(I))。 0.87
(14) (cid:80) where SoftMax(xi) = exp(xi) j exp(xj ), and I is a constant input vector. (14) (cid:80) ここでSoftMax(xi) = exp(xi) j exp(xj ) であり、I は定数入力ベクトルである。 0.91
We illustrate ARD network in Fig. Fig で ARD ネットワークを例示します。 0.76
2. Note that w is a global variable, and multiply every ut for t = {1, . 2. w は大域変数であり、t = {1, . に対してすべての ut を乗算する。 0.78
. . , T}. The differentiable SoftMax function is used as output layer for multi-class classification as its all outputs sum up to 1. . . , T。 微分可能なsoftmax関数は、多クラス分類の出力層として使用され、すべての出力が1にまとめられる。 0.73
Let uR 1:T be the input of both generative model and inference model. uR 1:T を生成モデルと推論モデルの両方の入力とします。 0.83
The gradients of parameters in ARD network can be easily back-propagated within the training process. ARDネットワーク内のパラメータの勾配は、トレーニングプロセス内で簡単にバックプロパゲートできます。 0.74
As such, the ARD network is easy to implement, and it avoids intractable posterior inference of traditional Bayesian approach. したがって、ARDネットワークは実装が容易であり、従来のベイズ的アプローチの難解な後部推論を避けることができる。 0.70
We show in experiments that the proposed ARD network not only can learn interpretable structure over time series, but also can improve the accuracy of probabilistic forecasts. 提案するARDネットワークは,時系列で解釈可能な構造を学習できるだけでなく,確率予測の精度を向上させることができることを示す。 0.83
2.4 Forecasting with Uncertainty Modeling for 2.4 不確実性モデリングによる予測 0.67
Exogenous Variables Once the parameters of the generative model θ is learned, we can use the model to address the forecasting problem in Eq. 外因性変数 生成モデル θ のパラメータが学習されると、Eq の予測問題に対処するためにモデルを利用することができる。 0.77
1. Since the transition model is non-linear, we cannot analytically compute the distribution of future values, so we resort to a Monte Carlo approach. 1. 遷移モデルは非線形であるため、将来の値の分布を解析的に計算することはできません。
訳抜け防止モード: 1. 遷移モデルは線形ではないので、将来の値の分布を解析的に計算することはできない。 モンテカルロのアプローチを頼りにしています
One shall note that for real-world forecasting, some of the exogenous variables themselves may also be the output by a forecasting model e.g. 実世界の予測については、外生変数自体が予測モデルによって出力される場合もあることに注意する。 0.74
weather forecast of temperature and rainfall probability. 気温と降雨確率の天気予報です 0.67
Hence from the forecasting time point, the forward part also contain inherent uncertainty and may not be accurate. したがって、予測時点から、前方部は固有の不確実性も含み、正確でない可能性がある。 0.63
Here we adopt a Monte Carlo approach to incorporate such uncertainty into the forecasting process. ここでは,モンテカルロ法を適用し,予測プロセスに不確実性を取り込む。 0.71
Let ud,t ∼ p(ud,t), d = 1, . ud,t を p(ud,t) とし、d = 1 とする。 0.66
. . , D be the distribution of each individual exogenous variable ut ∈ RD for t = T + 1 . . . , D は t = T + 1 に対する各個々の外因変数 ut ∈ RD の分布である。 0.86
. . , T + τ (while those variables with no uncertainty e.g. . . , T + τ (不確実性のない変数など)。 0.82
national holiday can be expressed by a delta distribution), and let ut ∼ p(ut) denote the distribution of a collection of exogenous variables at time t. Before forecasting, we first evaluate the whole time series x1:T over the model, and compute the distribution of the latent states pθz (zT|zT−1, hT ) and hT for the last time step T in the training period. 国民の祝日はデルタ分布で表すことができ、ut > p(ut) は時間 t における外因性変数の集合の分布を表す。予測の前に、まずモデル上の全時系列 x1:T を評価し、トレーニング期間の最後のステップ T における潜在状態 pθz (zT|zT−1, hT ) と hT の分布を計算する。 0.87
Then starting from zT ∼ pθz (zT|zT−1, hT ), we recursively compute: その後、zT(zT|zT−1, hT)から始めて、再帰的に計算します。 0.64
hT +t = fθd (hT +t−1, xT +t−1) zT +t ∼ N (µθz (zT +t−1, hT +t), Σθz(zT +t−1, hT +t)) uT +t ∼ p(uT +t) xT +t ∼ PD(Tθx (zT +t, hT +t, uT +t)) hT +t = fθd (hT +t−1, xT +t−1) zT +t > N (μθz (zT +t−1, hT +t)) Σθz(zT +t−1, hT +t)) uT +t > p(uT +t) xT +t > PD(Tθx (zT +t, hT +t, uT +t))) 0.77
(15) t=1,...,TwutuRt×ARDgradientflow (15) t=1,...,TwutuRt×ARDgradientflow 0.85
1:W}N for t = 1, . 1:W}N t = 1 の場合。 0.79
. . , τ. Our model generates forecasting samples by applying x The sampling procedure can be parallelized easily as sampling recursions are independent. . . , τ. 本モデルでは, サンプル再帰が独立しているため, サンプリング手順の並列化が容易である。 0.83
2.5 Data Preprocessing Given time series {x1, . 2.5 データ前処理 時系列 {x1, . 0.86
. . , xT}, to generate multiple training samples {xi i=1, we follow the protocol used in DeepAR [Flunkert et al., 2017]: the shingling technique [Leskovec et al., 2014] is used to convert a long time series into many short time series chunks. . . XT} は、複数のトレーニングサンプル {xi i=1 を生成するために、DeepAR [Flunkert et al., 2017] で使用されるプロトコルに従います。
訳抜け防止モード: . . xi i=1 で複数のトレーニングサンプルを生成します。 DeepAR [ Flunkert et al., 2017 ] で使用されているプロトコルに従います : シャッシリング技術 [ Leskovec et al., 2014 ] が使用されます。 長い時系列を多くの短い時系列のチャンクに変換するため。
Specifically, at each training iteration, we sample a batch of windows with width W at random start point [1, T − W − 1] from the dataset and feed into the model. 具体的には、トレーニングの各イテレーションで、データセットからランダムスタートポイント[1, T − W − 1]に幅Wのウィンドウのバッチをサンプリングし、モデルに入力する。 0.75
In some cases we have a dataset X of many independent time series with varying length that may share similar features, such as demand forecasting for large number of items. いくつかのケースでは、多くの独立した時系列のデータセットXがあり、多数のアイテムの需要予測など、同様の特徴を共有することができる。 0.70
We can model them with a single deep state space model, we build a pool of time series chunks to be randomly sample from, and forecasting is conducted independently for each single time series. それらを単一の深層状態空間モデルでモデル化し、ランダムにサンプルとなる時系列チャンクのプールを構築し、各時系列ごとに個別に予測を行うことができる。 0.81
3 Experiments We first compare our proposed model with baselines in public benchmarks, whereby only time series data is provided without additional exogenous variables. 3 実験 まず、提案したモデルを公開ベンチマークのベースラインと比較し、外部変数を追加せずに時系列データのみを提供する。 0.75
In this case, our devised ARD component is switched off and our model degenerates to traditional time series forecasting model. この場合、考案したardコンポーネントをオフにし、モデルが従来の時系列予測モデルに縮退する。
訳抜け防止モード: この場合、 発明されたARDコンポーネントは 我々のモデルは従来の時系列予測モデルに縮退します
Then we test our model on datasets with rich exogenous variables to show how the proposed ARD network selects relevant exogenous variables and benefit to make accurate forecasts. 次に,豊富な外因性変数を持つデータセット上でモデルをテストし,提案するardネットワークが関連外因性変数をどのように選択し,正確な予測を行うかを示す。 0.62
Note that we refer to our model as DSSMF. ここでは、このモデルをDSSMFと呼ぶ。 0.65
We implement our model by Pytorch on a single RTX 2080Ti GPU. Pytorchによるモデルを単一のRTX 2080Ti GPUで実装しています。 0.78
Let dimension of hidden layer of all NNs in generative model and inference model be 100, and dimension of stochastic latent state z be 10. 生成モデルおよび推論モデルにおける全nnの隠れ層の次元を100とし、確率的潜在状態zの次元を10とする。 0.83
We set window size to be one week of time steps for all datasets, and set sample size K = 5 of SGVB. すべてのデータセットのウィンドウサイズを1週間の時間ステップに設定し、サンプルサイズk = 5のsgvbをセットします。 0.75
We use Adam optimizer [Kingma and Ba, 2014] with learning rate 0.001. adam optimizer [kingma and ba, 2014] を学習率 0.001 で使用する。 0.75
Forecasts distribution are estimated by 1000 trials of Monte Carlo sampling. 予測分布はモンテカルロサンプリングの1000回の試行で推定される。 0.82
We use Gaussian emission model where mean and standard deviations are parameterized by two-layer NNs following protocol described in Sec. Secで記述されたプロトコルに従って、平均および標準偏差が2層NNによってパラメータ化されるガウス放射モデルを使用します。 0.59
2.1. 3.1 Forecasting using Exogenous Variables 2.1. 3.1 外来変数を用いた予測 0.64
without Uncertainty Dataset We use two public datasets electricity and traffic [Yu et al., 2016]. 不確実性なし データセット 電気とトラフィックの2つの公開データセットを使用します [Yu et al., 2016]。 0.63
The electricity contains time series of the electricity usage in kW recorded hourly for 370 clients. 電気は370の顧客のための毎時記録されるkWの電気使用法の時系列を含んでいます。 0.64
The traffic contains hourly occupancy rate of 963 car lanes of San Francisco bay area freeways. この交通はサンフランシスコ・ベイエリア・フリーウェイの943車線で1時間あたりの占有率を含んでいる。 0.61
We held-out the last four weeks for forecasting, and other data for training. 私たちはこの4週間、予測とトレーニングのための他のデータを保留しました。 0.59
For both datasets, only time-feature are added as exogenous variables u1:T +τ without any uncertainty, including absolute time, hour-ofday, day-of-week, is-workday, is-business-hour. どちらのデータセットも、絶対的な時間、時間、週、is-workday、is-business-hourなど、不確実性のない外因性変数u1:t +τとして追加される。 0.62
Baselines We use a classical method SARIMAX [Box et al., 2015], extending ARIMA that supports modeling seasonal components ベースライン SARIMAX [Box et al., 2015] を使用して、季節成分のモデリングをサポートする ARIMA を拡張します。 0.79
datasets electricity traffic 電力トラフィックのデータセット 0.63
SARIMAX 1.13(0.00) 1.58(0.00) SARIMAX 1.13(0.00) 1.58(0.00) 0.65
DeepAR 0.60(0.01) 0.89(0.01) DeepAR 0.60(0.01) 0.89(0.01) 0.65
DSSMF 0.58(0.01) 0.86(0.01) DSSMF 0.58(0.01) 0.86(0.01) 0.65
Table 1: Mean (S.D.) 表1:意味(S.D.) 0.86
CRPS for rolling-week forecast over 4 weeks. CRPSのロール週間予測は4週間以上。 0.74
and exogenous variable. そして外因性の変数。 0.60
Optimal parameters are obtained from grid search using R’s forecast package [Hyndman et al., 2007]. R's forecast package [Hyndman et al., 2007] を用いた格子探索から最適パラメータを求める。 0.78
We also use a recently proposed RNN-based autoregressive model DeepAR [Flunkert et al., 2017], where we use SDK from Amazon Sagemaker platform2 to obtain results. また、最近提案されたRNNベースの自己回帰モデルDeepAR [Flunkert et al., 2017]を使って、Amazon Sagemaker Platform2のSDKを使って結果を得る。 0.72
Results of all models are computed using a rolling window of forecasting as described in [Yu et al., 2016], where the window is one week (168 time steps). すべてのモデルの結果は、ウィンドウが1週間(168時間ステップ)である[Yu et al., 2016]に記載されている予測のローリングウィンドウを使用して計算されます。 0.78
Evaluation Metric Different from deterministic forecasts that predict a single value, probabilistic forecasts estimate a probability distribution. 評価指標 単一の値を予測する決定論的予測とは異なり、確率予測は確率分布を推定します。 0.76
Accuracy metrics such as MAE, RMSE are not applicable to probabilistic forecasts. MAEやRMSEといった精度指標は確率的予測には適用できない。 0.72
The Continuous Ranked Probability Score (CRPS) generalizes the MAE to evaluate probabilistic forecasts, and is a proper scoring rule [Gneiting and Katzfuss, 2014]. CRPS(Continuous Ranked Probability Score)は、確率的予測を評価するためにMAEを一般化し、適切なスコアルールである[Gneiting and Katzfuss, 2014]。 0.79
Given the true observation value x and the cumulative distribution function (CDF) of its forecasts distribution F , the CRPS score is given by: 予測分布Fの真の観測値xと累積分布関数(CDF)が与えられた場合、CRPSスコアは以下の通りである。 0.85
(cid:90) ∞ (cid:90) ∞ 0.84
CRPS(F, x) = CRPS(F, x) = 0.85
(F (y) − 1(y − x))2dy (F(y) − 1(y − x))2dy 0.90
(16) −∞ where 1 is the Heaviside step function. (16) −∞ ここで 1 は Heaviside ステップ関数である。 0.82
In order to summarize the CRPS score for all time series with different scales, we compute CRPS score on a series-wise standardized dataset. 異なるスケールの全ての時系列のCRPSスコアを要約するために、一連の標準化データセット上でCRPSスコアを計算する。 0.74
The results shown in Table 3.1 show that our model outper- 表3.1に示す結果は、私たちのモデルが上回っていることを示しています。 0.46
forms DeepAR and SARIMAX on two public benchmarks. DeepARとSARIMAXを2つの公開ベンチマークで作成する。 0.58
3.2 Forecasting using Exogenous Variables with Uncertainty In the following, we further show the interpretability of our model by incorporating the exogenous information. 3.2 不確実性を有する外因性変数を用いた予測では、外因性情報を取り込むことにより、モデルの解釈可能性を示す。
訳抜け防止モード: 3.2 不確実性のある外来変数を用いた予測 さらに,外因性情報を組み込むことで,モデルの解釈可能性を示す。
The hope is that the relevant exogenous variables will be uncovered automatically by our ARD network which suggests their importance to the forecasting task at hand. 希望は、関連する外部変数がARDネットワークによって自動的に発見され、手元の予測タスクの重要性が示唆されることです。 0.63
We refer to our model as DSSMF, and we also include two variants for ablation study: 1) DSSMF-NX, DSSMF without using exogenous variable. 1) DSSMF-NX, DSSMF, DSSMF, DSSMF, DSSMF, DSSMF, DSSMF, DSSMF, DSSMF, DSSMF, DSSMF, DSSMF, DSSMF, DSSMF, DSSMF)。
訳抜け防止モード: 我々はこのモデルをDSSMFと呼ぶ。 アブレーション研究のための2つの変種も含む: 1 ) DSSMF - NX, DSSMFは外因性変数を使用しない。
2) DSSMF-NA, DSSMF without the proposed ARD network, and the exogenous variable are input directly. 2)提案したARDネットワークのないDSSMF-NA,DSSMF,外因性変数を直接入力する。 0.81
To validate if the devised ARD network works effectively, we add three time series of Gaussian white noise as extra exogenous variables ({noise 1, noise 2, noise 3}). 提案するardネットワークが効果的に動作するかどうかを検証するために,ガウス白色雑音の3つの時系列を外因性変数として加える({noise 1, noise 2, noise 3})。 0.70
Our expectation is that these three noise variable will be automatically down-weighted by the ARD module. この3つのノイズ変数はARDモジュールによって自動的にダウンウェイトされます。 0.69
All exogenous variables are standardized to unit Gaussian. すべての外因変数はガウス単位に標準化されている。 0.52
To mimic the real situation for forecasting where exogenous variable may be uncertain, we let ud,t ∼ N (˜ud,t, σt) for all exogenous variables except for time-features i.e. 外因性変数が不確かであるような予測の実際の状況を模倣するために、時間的特徴を除いてすべての外因性変数に対して ud,t,t, σt) を課す。 0.76
exogenous variables without uncertainty in the forecasting period, where ˜ud,t is the true exogenous variable, and σt increases from 0 to 1 linearly in the forecasting period. 予測期間における不確実性のない外因性変数、すなわち ud,t は真の外因性変数であり、σt は予測期間において 0 から 1 に線形に増加する。 0.71
2https://docs.aws.am azon.com/sagemaker/l atest/dg/deepar.html 2https://docs.aws.am azon.com/sagemaker/l atest/dg/deepar.html 0.20
(a) electricity price (b) electricity load (a)電気料金 (b)電気負荷 0.77
(c) PM2.5 Figure 3: Forecast accuracy w.r.t forecast horizon. (c)PM2.5 図3:予測精度 w.r.t 予測水平線。 0.66
Electricity Price and Load Forecasting We apply our model to two probabilistic forecasting problems using datasets published in GEFCom2014 [Hong et al., 2016]. 電力価格と負荷予測 GEFCom2014 [Hong et al., 2016]で公表されたデータセットを使用して、2つの確率予測問題に適用します。 0.65
We choose this benchmark as it contains rich external information to explore by using the devised ARD network. 開発したARDネットワークを用いて探索するための豊富な外部情報を含むため、このベンチマークを選択する。 0.66
The first is electricity price forecasting, which involves univariate time series of hourly zonal electricity price. ひとつは電気価格の予測で、これは時間帯の帯電価格の単変時間を含む。 0.71
In addition, zonal load forecasts and total system forecast are also available over the forecast horizon. また, 予測地平線上での水平荷重予測とシステム全体の予測も利用可能である。 0.76
The second task is electricity load forecasting, where the hourly electricity load and air temperature data from 25 weather stations are provided. 第2の課題は電力負荷予測であり、25の気象観測所からの時給電力負荷と気温データを提供する。 0.81
Air Quality Forecasting We apply our model to the Beijing PM2.5 dataset [Liang et al., 2015] for the city suffering heavy air pollution at that time. 大気品質予測 私たちは北京PM2.5データセット[Liang et al., 2015]にこのモデルを適用しました。 0.56
It contains hourly PM2.5 records together with meteorological data, including dew point, temperature, atmospheric pressure, wind direction, window speed, hours of snow, and hours of rain. 時間毎のpm2.5記録と、露点、気温、気圧、風向、窓の速度、雪の時間、雨の時間などの気象データを含んでいる。 0.71
We aim to forecast PM2.5 given past PM2.5, accurate meteorological data in the training period, and inaccurate meteorological data in forecasting period. PM2.5以降のPM2.5予測、トレーニング期間における正確な気象データ、予測期間における不正確な気象データを目指します。 0.66
Figure 3 shows the forecast accuracy with respect to forecast horizon produced by our main model DSSMF and its two variants. 図3は、本モデルDSSMFとその2つの変種による予測地平線に関する予測精度を示す。 0.78
One can see that DSSMF-NX without using exogenous variables performs worst, suggesting that exogenous variables are crucial for making accurate forecasts. DSSMF-NXは外因性変数を使わずに最悪の結果となり、外因性変数が正確な予測に不可欠であることが示唆される。 0.62
Compared with DSSMF-NA which is not equipped with the ARD ARDを装備していないDSSMF-NAとの比較 0.81
Figure 4: Learned relevance (i.e. 図4: 関連性を学びました。 0.67
w in Eq. 14) of exogenous variables by the proposed ARD network on three different tasks. w in Eq。 14) 提案されたARDネットワークによる3つの異なるタスクにおける外因性変数。 0.77
component, DSSMF performs better in most cases, showing that the ARD network is beneficial for making forecasts. コンポーネント dssmfはほとんどの場合、パフォーマンスが良く、ardネットワークが予測に有用であることを示している。 0.60
Figure 4 shows the learned relevance vector w for the three datasets. 図4は、3つのデータセットの学習関連ベクトルwを示しています。 0.65
It can be found that ARD model has a low relevance weight estimation to the three intentionally added noise ({noise 1, noise 2, noise 3}) which are extra exogenous variables. ARDモデルは、外部固有変数である3つの意図的に付加された雑音({noise 1, noise 2, noise 3})に対して、低い関係重量推定値を持つ。 0.80
This indicates the effectiveness of our ARD model on identifying irrelevant external factors. これは無関係な外部要因の同定におけるardモデルの有効性を示す。 0.59
For electricity price forecasting, among its top ranked variables, hour-of-day and business-hour indicate daily seasonality, besides zonal load and total load indicating the demand. 電力価格の予測では、需要を示す地域負荷と総負荷に加えて、最上位の変数のうち、日時と営業時間は日々の季節性を示している。 0.56
For electricity load forecasting, we use {w1, . 電力負荷予測には、{w1, ...。 0.62
. . , w25} to denote 25 temperature records from 25 weather stations. . . は、25の気象局から25の温度記録を示すw25}。 0.82
Apart from that, it can be found that hour-of-day, absolute time, and business-hour are three most relevant exogenous variables, which also indicate the daily seasonality. それとは別に、時間、絶対時間、営業時間は3つの最も関連する外因性変数であり、これは日々の季節性を示す。 0.69
For weather data, temperature from the specific station w6, w25, w14 and w22 have the most impact. 気象データでは、特定のステーションw6、w25、w14、w22の温度が最も影響します。 0.71
For PM2.5 air quality forecasting, we find hour-of-day and month-of-year are two important exogenous variables, which indicates daily and yearly seasonality of PM2.5. PM2.5の大気品質予測では、昼と月の2つの重要な外因性変数がPM2.5の毎日および毎年の季節性を示しています。 0.62
Interestingly, wind direction and wind speed are also relevant variables, which indicates that polluted air in Beijing might be blown from other area. 興味深いことに、風向と風速も関連する変数であり、北京の汚染空気が他の地域から吹き飛ばされる可能性があることを示している。 0.65
Also, this also suggests that wind direction forecast is crucial for making accurate PM2.5 forecasting which in fact has been widely recognized by the public. また,風向予測はPM2.5の正確な予測を行う上でも重要であることも示唆している。 0.71
Besides, meteorological data such as dew point, temperature, and rain are also relevant to PM2.5 forecasting. さらに、露点、気温、雨などの気象データもPM2.5予測に関連しています。 0.79
Figure 5 shows examples for each of the above tasks, we can see that DSSMF makes accurate and sharp probabilistic forecast. 図5は、上記の各タスクの例を示し、DSSMFが正確かつ鋭い確率予測を行うことを示す。 0.82
For PM2.5 (the third row), the forecast uncertainty (realistically) grows over time (without any extra manipula- pm2.5(第3行)では、予測の不確実性は時間とともに(余分なマニピュラなしで)増大する。 0.60
0-1010-2020-3030-404 0-5050-6060-7070-808 0-9090-100forecast horizon681012CRPSDSS MF-NADSSMF-NXDSSMF0- 1010-2020-3030-4040- 5050-6060-7070-8080- 9090-100forecast horizon2040CRPSDSSMF -NADSSMF-NXDSSMF0-10 10-2020-3030-4040-50 50-6060-7070-8080-90 90-100forecast horizon5075100125CRP SDSSMFDSSMF-NXDSSMF- NA 0-1010-2020-3030-405 0-6060-7070-9090-100 forecast horizon681012CRPSDSS MF-NADSSMF-NXDSSMF0- 1010-2020-3030-4040- 5050-6060-7070-8080- 9090-100forecast horizon2040CRPSDSSMF -NADSSMF-NXDSSMF0-10 10-2020-3030-404040- 505050-606060-70-708 0-9090-100forecast horizon507510025CRPS DSSMF-NXDSSMF-NA 0.07
Figure 5: Probabilistic rolling-week multi-step forecasts by our model. 図5:確率的ローリングウィークのマルチステップ予測。 0.62
Red vertical dashed lines indicate the start time of forecast. 赤い縦線は予測の開始時間を示します。 0.69
Probability densities are plot by confidence intervals [20%, 30%,50%, 80%, 95%] in transparency. 確率密度は透明性において信頼区間(20%,30%,50%,80%,95% )によってプロットされる。 0.79
Past series is not shown in full length. 過去のシリーズは全長で表示されません。 0.73
Best viewed in color and zoom in for better view. よりよく見るために色およびズームインで見るベスト。 0.83
tion on our model). tion on our model)。 0.75
The model spontaneously places higher uncertainty when forecast may not be accurate, which are desired features for downstream decision making process. このモデルは、下流の意思決定プロセスに望ましい特徴である予測が正確でない場合、自然に高い不確実性を示す。 0.69
4 Conclusion We have presented a probabilistic time series forecasting model, where the future uncertainty is modeled with a generative model. 4結論 将来の不確実性が生成モデルでモデル化される確率的時系列予測モデルを提示した。 0.86
Our approach involves a deep network based embodiment of the state space model, to allow for non-linear emission and transition models design, which is flexible to deal with arbitrary data distribution. 提案手法では, 任意のデータ分布に柔軟に対応可能な非線形エミッションモデルと遷移モデルの設計を実現するため, 状態空間モデルのディープネットワークによる具体化を行う。 0.86
Extra exogenous variables in addition to time series data are exploited by our devised automatic relevance determination network, and their uncertainty is considered and modeled by our sampling approach. 時系列データに加え,外因性変数を考案した自動関連性判定ネットワークに利用し,その不確かさをサンプリング手法により検討・モデル化した。 0.83
These techniques help improve the model robustness and interpretability by effectively identifying the key factors, which are verified by extensive experiments. これらの技術は、広範な実験によって検証された重要な要因を効果的に特定することにより、モデルの堅牢性と解釈可能性を改善するのに役立ちます。
訳抜け防止モード: これらの手法はモデルロバスト性と解釈性を改善するのに役立つ 広範な実験によって検証される重要な要因を効果的に同定する。
References [Bengio et al., 2013] Yoshua Bengio, Aaron Courville, and Pascal Vincent. 参考文献 [Bengio et al., 2013] Yoshua Bengio、Aaron Courville、Pascal Vincent。 0.76
Representation learning: A review and new perspectives. 表現学習: レビューと新しい視点。 0.63
IEEE transactions on pattern analysis and machine intelligence, 35(8):1798–1828, 2013. IEEEによるパターン解析とマシンインテリジェンスに関するトランザクション 35(8):1798–1828, 2013 0.85
[Bishop and Tipping, 2000] Christopher M Bishop and Michael E Tipping. クリストファー・M・ビショップ(Christopher M Bishop)とマイケル・E・ティッピング(Michael E Tipping)。 0.57
Variational relevance vector mathe Sixteenth conference chines. 変分関係ベクトル mathe 16th conference chines. 0.81
on Uncertainty in artificial intelligence, pages 46–53. 人工知能の不確実性について、46-53ページ。 0.50
Morgan Kaufmann Publishers Inc., 2000. Morgan Kaufmann Publishers Inc.、2000年。 0.87
In Proceedings of in Proceedings of ~ 0.79
[Box et al., 2015] George EP Box, Gwilym M Jenkins, Gregory C Reinsel, and Greta M Ljung. [Box et al., 2015]George EP Box, Gwilym M Jenkins, Gregory C Reinsel, Greta M Ljung。 0.79
Time series analysis: forecasting and control. 時系列分析:予測および制御。 0.75
John Wiley & Sons, 2015. ジョン・ワイリー&サンズ、2015年。 0.54
[Brockwell et al., 2002] Peter J Brockwell, Richard A Davis, Introduction to time series and [Brockwell et al., 2002] Peter J Brockwell, Richard A Davis, Introduction to time series and 0.85
and Matthew V Calder. マシュー・カルダー(Matthew Calder)。 0.48
forecasting, volume 2. Springer, 2002. 予報第2巻 2002年、スプリンガー。 0.51
[Burda et al., 2015] Y. Burda, R. Grosse, and R. SalakhutIn [Burda et al., 2015]Y. Burda, R. Grosse, R. SalakhutIn 0.93
Importance weighted autoencoders. 重み付きオートエンコーダ。 0.49
dinov. arXiv:1509.00519, 2015. ディノフ arXiv:1509.00519, 2015 0.52
[Cho et al., 2014] K. Cho, B. [Cho et al., 2014]K. Cho, B。 0.89
Van Merriënboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, and Y. Bengio. Van Merriënboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, Y. Bengio 0.94
Learning phrase representations using rnn encoder-decoder for statistical machine translation. 統計機械翻訳のためのrnnエンコーダデコーダを用いたフレーズ表現の学習。 0.63
In arXiv:1406.1078, 2014. arXiv:1406.1078, 2014 0.83
[Chung et al., 2015] J. Chung, K. Kastner, L. Dinh, K. Goel, A. Courville, and Y. Bengio. [Chung et al., 2015] J. Chung, K. Kastner, L. Dinh, K. Goel, A. Courville, Y. Bengio 0.96
A recurrent latent variable model for sequential data. シーケンシャルデータに対する繰り返し潜時変数モデル。 0.72
In NIPS, 2015. 2015年、NIPS。 0.75
[Durbin and Koopman, 2012] James Durbin and Siem Jan Koopman. [Durbin and Koopman, 2012]James Durbin氏とSiem Jan Koopman氏。 0.91
Time series analysis by state space methods, volume 38. 状態空間法による時系列解析,巻38。 0.79
Oxford University Press, 2012. オックスフォード大学出版局、2012年。 0.66
[Flunkert et al., 2017] Valentin Flunkert, David Salinas, and Jan Gasthaus. Flunkert et al., 2017] Valentin Flunkert氏、David Salinas氏、Jan Gasthaus氏。 0.82
Deepar: Probabilistic forecasting with arXiv preprint autoregressive recurrent networks. Deepar: arXivプリプリント自動回帰リカレントネットワークによる確率予測。 0.80
arXiv:1704.04110, 2017. arXiv:1704.04110, 2017 0.67
[Fraccaro et al., 2016] M. Fraccaro, S. Sønderby, U. Paquet, and O. Winther. Fraccaro et al., 2016] M. Fraccaro, S. Sønderby, U. Paquet, O. Winther。 0.83
Sequential neural models with stochastic layers. 確率的層を持つシーケンシャルニューラルモデル。 0.64
In NIPS, 2016. 2016年、NIPS。 0.76
[Gneiting and Katzfuss, 2014] Tilmann [Gneiting and Katzfuss, 2014]Tilmann 0.77
and Probabilistic forecasting. Annual Matthias Katzfuss. そして確率予測。 マティアス・カッツファス(Matthias Katzfuss)。 0.51
Review of Statistics and Its Application, 1:125–151, 2014. 統計学とその応用 : 1:125–151, 2014 0.84
[Hong et al., 2016] Tao Hong, Pierre Pinson, Shu Fan, Hamidreza Zareipour, Alberto Troccoli, and Rob J Hyndman. [Hong et al., 2016] Tao Hong, Pierre Pinson, Shu Fan, Hamidreza Zareipour, Alberto Troccoli, Rob J Hyndman。 0.79
Probabilistic energy forecasting: Global energy forecasting competition 2014 and beyond, 2016. probabilistic energy forecasting: global energy forecasting competition 2014 and beyond, 2016 (英語) 0.89
Gneiting [Hyndman et al., 2007] Rob J Hyndman, Yeasmin Khandakar, et al. グナイティング Hyndman et al., 2007] Rob J Hyndman, Yeasmin Khandakar, et al。 0.60
Automatic time series for forecasting: the forecast package for R. Number 6/07. 予測のための自動時系列:R.番号6/07の予測パッケージ。 0.79
Monash University, Department of Econometrics and Business Statistics . Monash University, Department of Econometrics and Business Statistics 。 0.80
. . , 2007. . . , 2007. 0.85
[Jordan et al., 1999] M. Jordan, Z. Ghahramani, T. Jaakkola, and L. Saul. [Jordan et al., 1999]M. Jordan, Z. Ghahramani, T. Jaakkola, L. Saul。 0.93
An introduction to variational methods for graphical models. グラフィカルモデルのための変分法の導入。 0.71
Machine learning, 37(2):183–233, 1999. 機械学習, 37(2):183–233, 1999。 0.86
[Kingma and Ba, 2014] D. Kingma and J. Ba. [Kingma and Ba, 2014]D. KingmaとJ. Ba。 0.91
Adam: A method for stochastic optimization. Adam: 確率最適化の方法です。 0.69
In arXiv:1412.6980, 2014. arXiv:1412.6980, 2014 0.84
[Kingma and Welling, 2013] D. Kingma and M. Welling. [Kingma and Welling, 2013] D. KingmaとM. Welling。 0.93
In arXiv:1312.6114, arXiv:1312.6114 0.75
Auto-encoding variational bayes. 自動エンコード可変ベイ。 0.67
2013. [Krishnan et al., 2015] Rahul G Krishnan, Uri Shalit, and David Sontag. 2013. [Krishnan et al., 2015]Rahul G Krishnan、Uri Shalit、David Sontag。 0.77
Deep kalman filters. 深いカルマンフィルター。 0.54
In arXiv:1511.05121, 2015. arXiv:1511.05121、2015年。 0.64
[Krishnan et al., 2017] Rahul G Krishnan, Uri Shalit, and David Sontag. [Krishnan et al., 2017]Rahul G Krishnan、Uri Shalit、David Sontag。 0.71
Structured inference networks for nonlinear state space models. 非線形状態空間モデルのための構造推論ネットワーク 0.85
In Thirty-First AAAI Conference on Artificial Intelligence, 2017. 2017年、第30回AIAI Conference on Artificial Intelligenceに参加。 0.68
[Längkvist et al., 2014] Martin Längkvist, Lars Karlsson, and Amy Loutfi. [Längkvist et al., 2014]Martin Längkvist, Lars Karlsson, Amy Loutfi] 0.78
A review of unsupervised feature learning and deep learning for time-series modeling. 時系列モデリングのための教師なし特徴学習と深層学習の検討 0.74
Pattern Recognition Letters, 42:11–24, 2014. パターン認識レター, 42:11–24, 2014 0.80
[Leskovec et al., 2014] J. Leskovec, A. Rajaraman, and Jeffrey D. Ullman. Leskovec et al., 2014] J. Leskovec、A. Rajaraman、Jeffrey D. Ullman。 0.82
Mining of massive datasets. 膨大なデータセットのマイニング。 0.68
Cambridge university press, 2014. ケンブリッジ大学出版局、2014年。 0.58
[Liang et al., 2015] Xuan Liang, Tao Zou, Bin Guo, Shuo Li, Haozhe Zhang, Shuyi Zhang, Hui Huang, and Song Xi Chen. [Liang et al., 2015]Xuan Liang, Tao Zou, Bin Guo, Shuo Li, Haozhe Zhang, Shuyi Zhang, Hui Huang, Song Xi Chen 0.76
Assessing beijing’s pm2. Beijingのpm2を評価する。 0.63
5 pollution: severity, weather impact, apec and winter heating. 5の汚染:重症度、天候の影響、apecおよび冬の暖房。 0.73
Proceedings of the Royal Society A: Mathematical, Physical and Engineering Sciences, 471(2182):20150257, 2015. The Royal Society A: Mathematical, Physical and Engineering Sciences, 471 (2182):20150257, 2015 0.74
[Mnih and Rezende, 2016] A. Mnih and D. Rezende. [Mnih and Rezende, 2016]A.MnihとD.Rezende。 0.90
VariIn inference for monte carlo objectives. ヴァリン モンテカルロの目的の推測です 0.40
ational arXiv:1602.06725, 2016. ational arXiv:1602.06725, 2016 0.76
[Neal, 2012] Radford M Neal. Neal, 2012] Radford M Neal。 0.69
Bayesian learning for neural networks, volume 118. ニューラルネットワークのためのベイズ学習、ボリューム118。 0.75
Springer Science & Business Media, 2012. Springer Science & Business Media、2012年。 0.85
[Rangapuram et al., 2018] Syama [Rangapuram et al., 2018] Syama 0.85
Sundar Rangapuram, Matthias W Seeger, Jan Gasthaus, Lorenzo Stella, Yuyang Wang, and Tim Januschowski. Sundar Rangapuram、Matthias W Seeger、Jan Gasthaus、Lorenzo Stella、Yuyang Wang、Tim Januschowski。 0.65
Deep state space models In Advances in Neural for time series forecasting. 時系列予測のためのニューラルの進歩における深部状態空間モデル。 0.76
Information Processing Systems, pages 7796–7805, 2018. 情報処理システム、ページ7796-7805、2018。 0.75
[Wen et al., 2017] Ruofeng Wen, Kari Torkkola, Balakrishnan Narayanaswamy, and Dhruv Madeka. [Wen et al., 2017] Ruofeng Wen, Kari Torkkola, Balakrishnan Narayanaswamy, Dhruv Madeka。 0.79
A multiarXiv preprint horizon quantile recurrent forecaster. マルチarXivプリプリント地平線量子リカレント予測器。 0.58
arXiv:1711.11053, 2017. arXiv:1711.11053, 2017 0.67
[Wipf and Nagarajan, 2008] David P Wipf and Srikantan S Nagarajan. [Wipf and Nagarajan, 2008] David P WipfとSrikantan S Nagarajan。 0.81
A new view of automatic relevance determination. 自動関連性判定の新しい視点。 0.71
In Advances in neural information processing systems, pages 1625–1632, 2008. Advanceds in Neural Information Processing System, page 1625–1632, 2008 0.71
[Yu et al., 2016] Hsiang-Fu Yu, Nikhil Rao, and Inderjit S Dhillon. [Yu et al., 2016]Hsiang-Fu Yu, Nikhil Rao, Inderjit S Dhillon。 0.84
Temporal regularized matrix factorization for In Advances in high-dimensional time series prediction. 高次元時系列予測におけるIn Advancesの時間正規化行列分解 0.81
neural information processing systems, pages 847–855, 2016. 神経情報処理システム、ページ847-855、2016。 0.86

翻訳にはFugu-Machine Translatorを利用しています。