論文の概要: A Tree Architecture of LSTM Networks for Sequential Regression with Missing Data

• arxiv url: http://arxiv.org/abs/2005.11353v1
• Date: Fri, 22 May 2020 18:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 08:30:44.572051
• Title: A Tree Architecture of LSTM Networks for Sequential Regression with Missing Data
• Title（参考訳）: 欠落データを含む逐次回帰のためのLSTMネットワークのツリー構造
• Authors: S. Onur Sahin and Suleyman S. Kozat
• Abstract要約: 本稿では,Long Short-Term Memory (LSTM) ネットワークに基づく新しいツリーアーキテクチャを提案する。 アーキテクチャでは、配列内の既存の入力のみを使用するLSTMネットワークの可変数を用いる。 我々は、よく知られた財務・実生活データセットの最先端手法に関して、大幅な性能向上を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate regression for variable length sequential data containing missing samples and introduce a novel tree architecture based on the Long Short-Term Memory (LSTM) networks. In our architecture, we employ a variable number of LSTM networks, which use only the existing inputs in the sequence, in a tree-like architecture without any statistical assumptions or imputations on the missing data, unlike all the previous approaches. In particular, we incorporate the missingness information by selecting a subset of these LSTM networks based on "presence-pattern" of a certain number of previous inputs. From the mixture of experts perspective, we train different LSTM networks as our experts for various missingness patterns and then combine their outputs to generate the final prediction. We also provide the computational complexity analysis of the proposed architecture, which is in the same order of the complexity of the conventional LSTM architectures for the sequence length. Our method can be readily extended to similar structures such as GRUs, RNNs as remarked in the paper. In the experiments, we achieve significant performance improvements with respect to the state-of-the-art methods for the well-known financial and real life datasets.
• Abstract（参考訳）: 欠落したサンプルを含む可変長連続データの回帰について検討し,Long Short-Term Memory (LSTM) ネットワークに基づく新しいツリーアーキテクチャを提案する。 本アーキテクチャでは,既存入力のみを使用する可変数のLSTMネットワークを,従来のすべてのアプローチとは異なり,データ不足に対する統計的仮定や計算を行うことなく,木のようなアーキテクチャで採用する。 特に,特定の数の入力の"presence-pattern"に基づいて,これらのlstmネットワークのサブセットを選択することで,欠落情報を取り込む。 専門家の視点からは、さまざまな不足パターンの専門家として異なるLSTMネットワークをトレーニングし、それらのアウトプットを組み合わせて最終的な予測を生成する。 また,従来のLSTMアーキテクチャの配列長の複雑さと同じ順序で,提案アーキテクチャの計算複雑性解析も提供する。 本手法は,grus,rnnなどの類似した構造に容易に拡張することができる。 実験では,よく知られた金融データと実生活データに対する最先端の手法に関して,大幅な性能改善を達成している。

関連論文リスト

• Recurrent Stochastic Configuration Networks for Temporal Data Analytics [3.8719670789415925]
  本稿では,問題解決のためのコンフィグレーションネットワーク(RSCN)のリカレントバージョンを開発する。 我々は、初期RCCNモデルを構築し、その後、オンラインで出力重みを更新する。 数値的な結果は,提案したRCCNが全データセットに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-06-21T03:21:22Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• Disentangling Structured Components: Towards Adaptive, Interpretable and Scalable Time Series Forecasting [52.47493322446537]
  本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。 SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。 SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
  論文  参考訳（メタデータ） (2023-05-22T13:39:44Z)
• Image Classification using Sequence of Pixels [3.04585143845864]
  本研究では,繰り返しニューラルネットワークを用いた逐次画像分類法の比較を行った。 本稿では,Long-Short-Term memory(LSTM)やBidirectional Long-Short-Term memory(BiLSTM)アーキテクチャに基づく手法について述べる。
  論文  参考訳（メタデータ） (2022-09-23T09:42:44Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Automatic Remaining Useful Life Estimation Framework with Embedded Convolutional LSTM as the Backbone [5.927250637620123]
  組込み畳み込みLSTM(E NeuralTM)と呼ばれる新しいLSTM変種を提案する。 ETMでは、異なる1次元の畳み込みの群がLSTM構造に埋め込まれている。 RUL推定のために広く用いられているいくつかのベンチマークデータセットに対する最先端のアプローチよりも,提案したEMMアプローチの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-10T08:34:20Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Stacked Bidirectional and Unidirectional LSTM Recurrent Neural Network for Forecasting Network-wide Traffic State with Missing Values [23.504633202965376]
  我々は、RNNベースのモデルに注目し、RNNとその変種を交通予測モデルに組み込む方法を再検討する。 トラフィック状態予測のためのニューラルネットワーク構造の設計を支援するために,スタック型双方向・一方向LSTMネットワークアーキテクチャ(SBU-LSTM)を提案する。 また,LSTM構造(LSTM-I)におけるデータ計算機構を提案する。
  論文  参考訳（メタデータ） (2020-05-24T00:17:15Z)
• Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks [1.5146765382501612]
  GOPディベートTwitterデータセット上で感情分析を行う。 学習を高速化し、計算コストと時間を短縮するために、LSTMモデルのスリムバージョンを6つの異なるパラメータで削減する手法を提案する。
  論文  参考訳（メタデータ） (2020-05-08T12:50:10Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。