論文の概要: Demystifying Deep Learning in Predictive Spatio-Temporal Analytics: An
Information-Theoretic Framework
- arxiv url: http://arxiv.org/abs/2009.06304v2
- Date: Thu, 17 Sep 2020 09:21:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 11:31:06.005416
- Title: Demystifying Deep Learning in Predictive Spatio-Temporal Analytics: An
Information-Theoretic Framework
- Title（参考訳）: 予測時空間分析におけるDemystifying Deep Learning: a Information-theoretic Framework
- Authors: Qi Tan, Yang Liu, Jiming Liu
- Abstract要約: ディープラーニングモデル設計と情報理論解析のための包括的なフレームワークを提供する。
まず、インタラクティブに接続された新しいディープリカレントニューラルネットワーク(I$2$DRNN)モデルを開発し、実演する。
第二に、設計モデルがPSTAタスクのマルチスケール時間依存性を学習できることを理論的に証明するために、情報理論解析を提供する。
- 参考スコア（独自算出の注目度）: 20.28063653485698
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning has achieved incredible success over the past years, especially
in various challenging predictive spatio-temporal analytics (PSTA) tasks, such
as disease prediction, climate forecast, and traffic prediction, where
intrinsic dependency relationships among data exist and generally manifest at
multiple spatio-temporal scales. However, given a specific PSTA task and the
corresponding dataset, how to appropriately determine the desired configuration
of a deep learning model, theoretically analyze the model's learning behavior,
and quantitatively characterize the model's learning capacity remains a
mystery. In order to demystify the power of deep learning for PSTA, in this
paper, we provide a comprehensive framework for deep learning model design and
information-theoretic analysis. First, we develop and demonstrate a novel
interactively- and integratively-connected deep recurrent neural network
(I$^2$DRNN) model. I$^2$DRNN consists of three modules: an Input module that
integrates data from heterogeneous sources; a Hidden module that captures the
information at different scales while allowing the information to flow
interactively between layers; and an Output module that models the integrative
effects of information from various hidden layers to generate the output
predictions. Second, to theoretically prove that our designed model can learn
multi-scale spatio-temporal dependency in PSTA tasks, we provide an
information-theoretic analysis to examine the information-based learning
capacity (i-CAP) of the proposed model. Third, to validate the I$^2$DRNN model
and confirm its i-CAP, we systematically conduct a series of experiments
involving both synthetic datasets and real-world PSTA tasks. The experimental
results show that the I$^2$DRNN model outperforms both classical and
state-of-the-art models, and is able to capture meaningful multi-scale
spatio-temporal dependency.
- Abstract（参考訳）: 深層学習は、特に病気予測、気候予測、交通予測など、様々な困難な時空間分析(PSTA)タスクにおいて、データ間の固有の依存関係関係が存在し、複数の時空間スケールで一般的に現れるような、過去数年間で驚くべき成功を収めてきた。
しかし、特定のPSTAタスクと対応するデータセットが与えられた場合、ディープラーニングモデルの望ましい構成を適切に決定し、モデルの学習行動を理論的に分析し、モデルの学習能力を定量的に評価する方法は謎のままである。
そこで本研究では,PSTAの深層学習の能力を明らかにするために,深層学習モデル設計と情報理論解析のための包括的枠組みを提案する。
まず,対話型および統合型接続型ディープリカレントニューラルネットワーク(I$^2$DRNN)モデルを開発した。
I$^2$DRNNは3つのモジュールから構成される: 不均一なソースからのデータを統合する入力モジュール、異なるスケールで情報をキャプチャし、層間をインタラクティブに流れるようにする隠れモジュール、そして様々な隠されたレイヤからの情報の統合的効果をモデル化して出力予測を生成する出力モジュール。
第二に、設計モデルがPSTAタスクのマルチスケール時空間依存性を学習できることを理論的に証明するために、提案モデルの情報ベース学習能力(i-CAP)を調べるための情報理論解析を提供する。
第3に、I$^2$DRNNモデルを検証し、そのi-CAPを確認するために、合成データセットと実世界のPSTAタスクの両方を含む一連の実験を系統的に実施する。
実験の結果,I$^2$DRNNモデルは従来のモデルと最先端モデルの両方より優れており,有意義なマルチスケール時空間依存性を捉えることができることがわかった。
関連論文リスト
- iNNspector: Visual, Interactive Deep Model Debugging [8.997568393450768]
本研究では,ディープラーニング実験のデータ空間を構造化する概念的枠組みを提案する。
我々のフレームワークは設計の次元を捉え、このデータを探索可能かつ抽出可能にするためのメカニズムを提案する。
我々は、ディープラーニング実験の追跡を可能にし、データのインタラクティブな可視化を提供するiNNspectorシステムを提案する。
論文 参考訳（メタデータ） (2024-07-25T12:48:41Z) - An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。
モデル能力,トレーニングデータ,モデル解釈について検討した。
我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
論文 参考訳（メタデータ） (2022-12-15T19:49:34Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - Learning Dynamics Models for Model Predictive Agents [28.063080817465934]
モデルに基づく強化学習は、データからテクトダイナミックスモデルを学習し、そのモデルを使用して振る舞いを最適化する。
本稿では, 動的モデル学習における設計選択の役割を, 基礎構造モデルとの比較により明らかにすることを目的としている。
論文 参考訳（メタデータ） (2021-09-29T09:50:25Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - A multi-stage machine learning model on diagnosis of esophageal
manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。
これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文 参考訳（メタデータ） (2021-06-25T20:09:23Z) - Model Complexity of Deep Learning: A Survey [79.20117679251766]
深層学習におけるモデル複雑性に関する最新の研究を体系的に概観します。
本稿では,これら2つのカテゴリに関する既存研究について,モデルフレームワーク,モデルサイズ,最適化プロセス,データ複雑性の4つの重要な要因について概説する。
論文 参考訳（メタデータ） (2021-03-08T22:39:32Z) - Semi-Structured Deep Piecewise Exponential Models [2.7728956081909346]
本稿では,統計学の先進的な概念と深層学習を組み合わせた生存分析のための多目的フレームワークを提案する。
この枠組みを用いてアルツハイマー病の進行を予測することによって概念実証を行う。
論文 参考訳（メタデータ） (2020-11-11T14:41:19Z) - PAC Bounds for Imitation and Model-based Batch Learning of Contextual
Markov Decision Processes [31.83144400718369]
本稿では,コンテキスト記述子を用いたマルチタスク強化学習のバッチ化の問題点について考察する。
直接政策学習(DPL)、専門家の軌道から学習する模倣学習に基づくアプローチ、モデルに基づく学習という2つの一般的な学習アルゴリズムについて研究する。
論文 参考訳（メタデータ） (2020-06-11T11:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。