論文の概要: Distributed Learning and its Application for Time-Series Prediction
- arxiv url: http://arxiv.org/abs/2106.03211v1
- Date: Sun, 6 Jun 2021 18:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-13 09:53:04.021075
- Title: Distributed Learning and its Application for Time-Series Prediction
- Title（参考訳）: 分散学習と時系列予測への応用
- Authors: Nhuong V. Nguyen and Sybille Legitime
- Abstract要約: 極度の出来事は、規模とポテンシャルが人、インフラ、環境に大きなダメージを与える出来事である。
新型コロナウイルスのパンデミックに悩まされている現在の世界の健康環境の極端な性質に触発され、私たちは極端な出来事をよりよく理解し、モデル化したいと思っています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Extreme events are occurrences whose magnitude and potential cause extensive
damage on people, infrastructure, and the environment. Motivated by the extreme
nature of the current global health landscape, which is plagued by the
coronavirus pandemic, we seek to better understand and model extreme events.
Modeling extreme events is common in practice and plays an important role in
time-series prediction applications. Our goal is to (i) compare and investigate
the effect of some common extreme events modeling methods to explore which
method can be practical in reality and (ii) accelerate the deep learning
training process, which commonly uses deep recurrent neural network (RNN), by
implementing the asynchronous local Stochastic Gradient Descent (SGD) framework
among multiple compute nodes. In order to verify our distributed extreme events
modeling, we evaluate our proposed framework on a stock data set S\&P500, with
a standard recurrent neural network. Our intuition is to explore the (best)
extreme events modeling method which could work well under the distributed deep
learning setting. Moreover, by using asynchronous distributed learning, we aim
to significantly reduce the communication cost among the compute nodes and
central server, which is the main bottleneck of almost all distributed learning
frameworks.
We implement our proposed work and evaluate its performance on representative
data sets, such as S\&P500 stock in $5$-year period. The experimental results
validate the correctness of the design principle and show a significant
training duration reduction upto $8$x, compared to the baseline single compute
node. Our results also show that our proposed work can achieve the same level
of test accuracy, compared to the baseline setting.
- Abstract（参考訳）: 極度の出来事は、規模とポテンシャルが人、インフラ、環境に大きなダメージを与える出来事である。
新型コロナウイルス(covid-19)のパンデミックに苦しむ現在の世界の健康環境の極端な性質に動機づけられ、極端な出来事の理解とモデル化をより深めたいと考えています。
極端なイベントのモデリングは、実際には一般的であり、時系列予測アプリケーションにおいて重要な役割を果たす。
目的は,複数の計算ノード間で非同期局所確率勾配Descent(SGD)フレームワークを実装することにより,現実的にどの手法が実用的なのかを探索するための,いくつかの極端なイベントモデリング手法の効果を比較し,検討することである。
分散極端なイベントモデリングを検証するため、標準のリカレントニューラルネットワークを用いて、ストックデータセットS\&P500上で提案したフレームワークを評価する。
私たちの直感は、分散ディープラーニング環境でうまく機能する(最高の)エクストリームイベントモデリング方法を探求することです。
さらに、非同期分散学習を用いることで、ほぼすべての分散学習フレームワークの主なボトルネックである計算ノードと中央サーバ間の通信コストを大幅に削減することを目指している。
我々は,提案手法を実装し,s\&p500 株などの代表的なデータセット上での5年間の性能評価を行った。
実験結果は,設計原理の正しさを検証し,ベースラインの単一計算ノードと比較して,最大8ドルまでのトレーニング期間を短縮した。
また,提案手法は,ベースライン設定と同等の精度で検証できることを示した。
関連論文リスト
- Neural Networks with LSTM and GRU in Modeling Active Fires in the Amazon [0.0]
本研究は,ブラジルのアマゾンにあるAQUA_M-T衛星によって検出された活動点の歴史的時系列をモデル化し,予測するための包括的方法論を提案する。
このアプローチでは、Long Short-Term Memory(LSTM)とGated Recurrent Unit(GRU)アーキテクチャを組み合わせた混合リカレントニューラルネットワーク(RNN)モデルを採用して、毎日検出されたアクティブファイアスポットの月次蓄積を予測する。
論文 参考訳（メタデータ） (2024-09-04T13:11:59Z) - Towards Flexible Time-to-event Modeling: Optimizing Neural Networks via
Rank Regression [17.684526928033065]
我々はDART(Time-to-event Prediction)のためのDeep AFT Rank-regressionモデルを導入する。
このモデルは、表現学習において効率的で信頼性の高いゲハンのランク統計に基づく客観的関数を用いる。
提案手法は, 生存時間分布に分布仮定を課さない半パラメトリックなAFTモデリング手法である。
論文 参考訳（メタデータ） (2023-07-16T13:58:28Z) - Towards Out-of-Distribution Sequential Event Prediction: A Causal
Treatment [72.50906475214457]
シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。
実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。
文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-24T07:54:13Z) - Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets [2.824895388993495]
情報理論AEPに基づく信頼性学習の理論的保証を提供する。
次に、高効率なリカレントニューラルネット(RNN)フレームワークに焦点を当て、少数ショット学習のための縮小エントロピーアルゴリズムを提案する。
実験結果から,学習モデルのサンプル効率,一般化,時間的複雑さを向上する可能性が示唆された。
論文 参考訳（メタデータ） (2022-09-28T17:33:11Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Probabilistic AutoRegressive Neural Networks for Accurate Long-range
Forecasting [6.295157260756792]
確率的自己回帰ニューラルネットワーク(PARNN)について紹介する。
PARNNは、非定常性、非線形性、非調和性、長距離依存、カオスパターンを示す複雑な時系列データを扱うことができる。
本研究では,Transformers,NBeats,DeepARなどの標準統計モデル,機械学習モデル,ディープラーニングモデルに対して,PARNNの性能を評価する。
論文 参考訳（メタデータ） (2022-04-01T17:57:36Z) - Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。
SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。
その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文 参考訳（メタデータ） (2021-12-15T09:50:25Z) - Model-assisted deep learning of rare extreme events from partial
observations [0.0]
ディープニューラルネットワークを使って稀な極端な事象を予測するには、いわゆる小さなデータ問題に遭遇する。
本稿では,数値シミュレーションからトレーニングデータを取得するモデル支援フレームワークについて検討する。
長い短期記憶ネットワークはノイズに対して最も頑丈であり、比較的正確な予測が得られる。
論文 参考訳（メタデータ） (2021-11-04T23:24:22Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:50:15Z) - Statistical model-based evaluation of neural networks [74.10854783437351]
ニューラルネットワーク(NN)の評価のための実験装置を開発する。
このセットアップは、NNs vis-a-vis minimum-mean-square-error (MMSE)パフォーマンス境界のベンチマークに役立つ。
これにより、トレーニングデータサイズ、データ次元、データ幾何学、ノイズ、トレーニング条件とテスト条件のミスマッチの影響をテストできます。
論文 参考訳（メタデータ） (2020-11-18T00:33:24Z) - A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。
基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
論文 参考訳（メタデータ） (2020-02-21T23:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。