論文の概要: Deep Linear Hawkes Processes

• arxiv url: http://arxiv.org/abs/2412.19634v1
• Date: Fri, 27 Dec 2024 13:23:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:28:56.630548
• Title: Deep Linear Hawkes Processes
• Title（参考訳）: 深い線形ホークスプロセス
• Authors: Yuxin Chang, Alex Boyd, Cao Xiao, Taha Kass-Hout, Parminder Bhatia, Padhraic Smyth, Andrew Warrington,
• Abstract要約: マーク付き時間点プロセス(MTPP)は、不規則な到着時間を持つ異なる種類の事象のシーケンスをモデル化するために使用される。 我々は、現代の深部状態空間モデル(SSM)と線形ホークスプロセス(LHP)の接続を描画することで、既存の点過程モデルにおける欠点に対処する。 提案するDLHPモデルは,新しいMTPPモデルの構築に利用されたSSMのユニークなアーキテクチャ機能の最初の例である。
• 参考スコア（独自算出の注目度）: 35.99097766665126
• License:
• Abstract: Marked temporal point processes (MTPPs) are used to model sequences of different types of events with irregular arrival times, with broad applications ranging from healthcare and social networks to finance. We address shortcomings in existing point process models by drawing connections between modern deep state-space models (SSMs) and linear Hawkes processes (LHPs), culminating in an MTPP that we call the deep linear Hawkes process (DLHP). The DLHP modifies the linear differential equations in deep SSMs to be stochastic jump differential equations, akin to LHPs. After discretizing, the resulting recurrence can be implemented efficiently using a parallel scan. This brings parallelism and linear scaling to MTPP models. This contrasts with attention-based MTPPs, which scale quadratically, and RNN-based MTPPs, which do not parallelize across the sequence length. We show empirically that DLHPs match or outperform existing models across a broad range of metrics on eight real-world datasets. Our proposed DLHP model is the first instance of the unique architectural capabilities of SSMs being leveraged to construct a new class of MTPP models.
• Abstract（参考訳）: マーク付き時間点プロセス(MTPP)は、医療やソーシャルネットワークからファイナンスまで幅広い用途で、不規則な到着時間を持つさまざまな種類のイベントのシーケンスをモデル化するために使用される。 本稿では,近年の深部状態空間モデル (SSMs) と線形ホークスプロセス (LHPs) の接続を描画することで,既存の点点過程モデルにおける欠点を解消し,深部線形ホークスプロセス (DLHPs) と呼ぶMTPPに終止符を打つ。 DLHPは、深いSSMの線形微分方程式を、LHPに似た確率的ジャンプ微分方程式に修正する。 離散化後、パラレルスキャンを用いて結果の再発を効率的に行うことができる。 これはMTPPモデルに並列性と線形スケーリングをもたらす。 これは、2次スケールのアテンションベースのMTPPと、シーケンスの長さを並列化しないRNNベースのMTPPとは対照的である。 DLHPは8つの実世界のデータセットにおいて、広範囲のメトリクスで既存のモデルにマッチするか、より優れていることを実証的に示す。 提案するDLHPモデルは,新しいMTPPモデルの構築に利用されたSSMのユニークなアーキテクチャ機能の最初の例である。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models [5.37935922811333]
  State Space Models (SSM) は、一変量時系列モデリングのための古典的なアプローチである。 本稿では、2つの入力依存型2次元SSMヘッドと異なる離散化プロセスを用いて長期進行と季節パターンを学習するチメラについて述べる。 実験により,広範囲で多様なベンチマークにおいて,Chimeraの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-06T17:58:09Z)
• Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
  時系列予測(TSF)のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。 我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。 提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
  論文  参考訳（メタデータ） (2024-06-06T05:27:33Z)
• Online Multi-Task Learning with Recursive Least Squares and Recursive Kernel Methods [50.67996219968513]
  本稿では,オンラインマルチタスク学習(MTL)回帰問題に対する2つの新しいアプローチを紹介する。 入力空間の次元の2次パースタンスコストで精度よく近似的な再帰を実現する。 我々は,実世界の風速予測ケーススタディにおいて,オンラインMTL法と他の競技者との比較を行った。
  論文  参考訳（メタデータ） (2023-08-03T01:41:34Z)
• On Optimizing the Communication of Model Parallelism [74.15423270435949]
  大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。 クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。 本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
  論文  参考訳（メタデータ） (2022-11-10T03:56:48Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• ES-dRNN: A Hybrid Exponential Smoothing and Dilated Recurrent Neural Network Model for Short-Term Load Forecasting [1.4502611532302039]
  複雑な時系列(TS)のため、短期負荷予測(STLF)は困難である 本稿では,複数の季節性を扱うハイブリッド階層型ディープラーニングモデルを提案する。 指数スムージング(ES)とリカレントニューラルネットワーク(RNN)を組み合わせる。
  論文  参考訳（メタデータ） (2021-12-05T19:38:42Z)
• Model Order Reduction based on Runge-Kutta Neural Network [0.0]
  本研究では,各ステップにいくつかの修正を加え,3つのシミュレーションモデルによるテストによる影響について検討する。 モデル再構成ステップでは,多層型パーセプトロン(mlp)とrunge-kuttaニューラルネットワーク(rknn)の2種類のニューラルネットワークアーキテクチャを比較した。
  論文  参考訳（メタデータ） (2021-03-25T13:02:16Z)
• Learning Multivariate Hawkes Processes at Scale [17.17906360554892]
  提案手法は, 基礎となるネットワークの周囲次元とは無関係に, MHP の精度と勾配を計算可能であることを示す。 合成および実世界のデータセットについて、我々のモデルは最先端の予測結果を達成するだけでなく、実行時の性能を桁違いに改善することを示した。
  論文  参考訳（メタデータ） (2020-02-28T01:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。