論文の概要: Deep Continuous-Time State-Space Models for Marked Event Sequences

• arxiv url: http://arxiv.org/abs/2412.19634v2
• Date: Thu, 23 Oct 2025 00:49:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:03.034744
• Title: Deep Continuous-Time State-Space Models for Marked Event Sequences
• Title（参考訳）: マーク付きイベントシーケンスのための深部連続時間状態空間モデル
• Authors: Yuxin Chang, Alex Boyd, Cao Xiao, Taha Kass-Hout, Parminder Bhatia, Padhraic Smyth, Andrew Warrington,
• Abstract要約: MTPP(Marked temporal point process)は、不規則な時間間隔で発生する事象の時系列をモデル化する。 本稿では,既存のMTPPモデルの限界を克服する新しい性能モデルである状態空間点過程(S2P2)モデルを提案する。 S2P2は8つの実世界のデータセットにまたがる最先端の予測可能性を達成する。
• 参考スコア（独自算出の注目度）: 32.68084329865821
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Marked temporal point processes (MTPPs) model sequences of events occurring at irregular time intervals, with wide-ranging applications in fields such as healthcare, finance and social networks. We propose the state-space point process (S2P2) model, a novel and performant model that leverages techniques derived for modern deep state-space models (SSMs) to overcome limitations of existing MTPP models, while simultaneously imbuing strong inductive biases for continuous-time event sequences that other discrete sequence models (i.e., RNNs, transformers) do not capture. Inspired by the classical linear Hawkes processes, we propose an architecture that interleaves stochastic jump differential equations with nonlinearities to create a highly expressive intensity-based MTPP model, without the need for restrictive parametric assumptions for the intensity. Our approach enables efficient training and inference with a parallel scan, bringing linear complexity and sublinear scaling while retaining expressivity to MTPPs. Empirically, S2P2 achieves state-of-the-art predictive likelihoods across eight real-world datasets, delivering an average improvement of 33% over the best existing approaches.
• Abstract（参考訳）: マーク付き時間点プロセス(MTPP)は、不規則な時間間隔で発生する事象のシーケンスをモデル化し、医療、金融、ソーシャルネットワークなどの分野に広く応用されている。 本稿では,既存のMTPPモデルの制約を克服するために,現代の深部状態空間モデル(SSM)から派生した手法を利用した新しい性能モデルである状態空間点過程(S2P2)モデルを提案するとともに,他の離散列モデル(RNN,変換器)が捉えない連続時間事象列に対する強い帰納バイアスを同時に付与する。 古典的線形ホークス法に着想を得て、非線形性を持つ確率ジャンプ微分方程式をインターリーブし、強度に対する制限パラメトリック仮定を必要とせず、高度に表現力に基づくMTPPモデルを作成するアーキテクチャを提案する。 提案手法は並列スキャンによる効率的なトレーニングと推論を可能にし, MTPPの表現性を維持しつつ, 線形複雑性とサブ線形スケーリングを実現する。 実証的には、S2P2は8つの実世界のデータセットにまたがる最先端の予測可能性を達成する。

関連論文リスト

• Hybrid Autoregressive-Diffusion Model for Real-Time Streaming Sign Language Production [0.0]
  本稿では,自己回帰モデルと拡散モデルを組み合わせて手話生成(SLP)モデルを生成するハイブリッドアプローチを提案する。 細かな体の動きを捉えるため,異なるアーティストから細かな特徴を別々に抽出するマルチスケール・ポース表現モジュールを設計した。 また、連立レベルの信頼スコアを利用してポーズ生成過程を動的にガイドする信頼意識型因果注意機構も導入する。
  論文  参考訳（メタデータ） (2025-07-12T01:34:50Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models [5.37935922811333]
  State Space Models (SSM) は、一変量時系列モデリングのための古典的なアプローチである。 本稿では、2つの入力依存型2次元SSMヘッドと異なる離散化プロセスを用いて長期進行と季節パターンを学習するチメラについて述べる。 実験により,広範囲で多様なベンチマークにおいて,Chimeraの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-06T17:58:09Z)
• Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
  時系列予測(TSF)のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。 我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。 提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
  論文  参考訳（メタデータ） (2024-06-06T05:27:33Z)
• On Optimizing the Communication of Model Parallelism [74.15423270435949]
  大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。 クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。 本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
  論文  参考訳（メタデータ） (2022-11-10T03:56:48Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• ES-dRNN: A Hybrid Exponential Smoothing and Dilated Recurrent Neural Network Model for Short-Term Load Forecasting [1.4502611532302039]
  複雑な時系列(TS)のため、短期負荷予測(STLF)は困難である 本稿では,複数の季節性を扱うハイブリッド階層型ディープラーニングモデルを提案する。 指数スムージング(ES)とリカレントニューラルネットワーク(RNN)を組み合わせる。
  論文  参考訳（メタデータ） (2021-12-05T19:38:42Z)
• Time Series Forecasting Using Manifold Learning [6.316185724124034]
  本研究では,高次元時系列の予測のための多様体学習に基づく3層数値フレームワークを提案する。 最初のステップでは、非線形多様体学習アルゴリズムを用いて、時系列を低次元空間に埋め込む。 2番目のステップでは、埋め込み力学を予測するために、多様体上の低次回帰モデルを構築する。 最後のステップでは、埋め込み時系列を元の高次元空間に戻します。
  論文  参考訳（メタデータ） (2021-10-07T17:09:59Z)
• Model Order Reduction based on Runge-Kutta Neural Network [0.0]
  本研究では,各ステップにいくつかの修正を加え,3つのシミュレーションモデルによるテストによる影響について検討する。 モデル再構成ステップでは,多層型パーセプトロン(mlp)とrunge-kuttaニューラルネットワーク(rknn)の2種類のニューラルネットワークアーキテクチャを比較した。
  論文  参考訳（メタデータ） (2021-03-25T13:02:16Z)
• Learning Multivariate Hawkes Processes at Scale [17.17906360554892]
  提案手法は, 基礎となるネットワークの周囲次元とは無関係に, MHP の精度と勾配を計算可能であることを示す。 合成および実世界のデータセットについて、我々のモデルは最先端の予測結果を達成するだけでなく、実行時の性能を桁違いに改善することを示した。
  論文  参考訳（メタデータ） (2020-02-28T01:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。