論文の概要: NEST: Nested Event Stream Transformer for Sequences of Multisets

• arxiv url: http://arxiv.org/abs/2602.00520v2
• Date: Tue, 03 Feb 2026 03:10:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 13:28:03.701721
• Title: NEST: Nested Event Stream Transformer for Sequences of Multisets
• Title（参考訳）: NEST:Nested Event Stream Transformer for Sequences of Multisets
• Authors: Minghui Sun, Haoyu Gong, Xingyu You, Jillian Hurst, Benjamin Goldstein, Matthew Engelhard,
• Abstract要約: イベントストリームデータは、複数のイベントが共起し、結果として一連の多重セットとなる階層構造を示すことが多い。 イベントストリームデータのための既存の基盤モデル(FM)の多くは、この階層を1次元のシーケンスにフラット化します。 マルチセットのシーケンスからなるイベントストリームのためのFMであるNested Event Stream Transformer (NEST)を紹介する。
• 参考スコア（独自算出の注目度）: 6.526312674534938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Event stream data often exhibit hierarchical structure in which multiple events co-occur, resulting in a sequence of multisets (i.e., bags of events). In electronic health records (EHRs), for example, medical events are grouped into a sequence of clinical encounters with well-defined temporal structure, but the order and timing of events within each encounter may be unknown or unreliable. Most existing foundation models (FMs) for event stream data flatten this hierarchy into a one-dimensional sequence, leading to (i) computational inefficiency associated with dense attention and learning spurious within-set relationships, and (ii) lower-quality set-level representations from heuristic post-training pooling for downstream tasks. Here, we show that preserving the original hierarchy in the FM architecture provides a useful inductive bias that improves both computational efficiency and representation quality. We then introduce Nested Event Stream Transformer (NEST), a FM for event streams comprised of sequences of multisets. Building on this architecture, we formulate Masked Set Modeling (MSM), an efficient paradigm that promotes improved set-level representation learning. Experiments on real-world multiset sequence data show that NEST captures real-world dynamics while improving both pretraining efficiency and downstream performance.
• Abstract（参考訳）: イベントストリームデータはしばしば、複数のイベントが共起する階層構造を示し、結果として一連のマルチセット(イベントの袋)が生成される。 例えば、電子健康記録(EHR)では、医療イベントは、明確に定義された時間構造を持つ臨床遭遇の連続にグループ化されるが、各出会いにおける事象の順序とタイミングは、未知または信頼できないかもしれない。 イベントストリームデータのための既存の基盤モデル(FM)のほとんどは、この階層を1次元のシーケンスに平らにし、結果に繋がる。 一 密接な注意と学習の急激な内的関係に関連する計算の非効率性、及び (II)下流タスクのためのヒューリスティックポストトレーニングプールによる低品質なセットレベル表現。 ここでは、FMアーキテクチャにおける元の階層を保存することは、計算効率と表現品質の両方を改善する有用な帰納的バイアスをもたらすことを示す。 次に、マルチセットのシーケンスからなるイベントストリームのためのFMであるNested Event Stream Transformer (NEST)を紹介する。 このアーキテクチャ上に構築したMasked Set Modeling (MSM) は,より優れたセットレベルの表現学習を促進する効率的なパラダイムである。 実世界のマルチセットシーケンスデータを用いた実験では、NESTは事前学習効率と下流性能の両方を改善しつつ、実世界のダイナミクスをキャプチャする。

関連論文リスト

• UniDiff: A Unified Diffusion Framework for Multimodal Time Series Forecasting [90.47915032778366]
  マルチモーダル時系列予測のための統合拡散フレームワークUniDiffを提案する。 コアには統一的で並列な融合モジュールがあり、単一のクロスアテンション機構がタイムスタンプからの構造化情報とテキストからのセマンティックコンテキストを統合する。 8つの領域にわたる実世界のベンチマークデータセットの実験は、提案したUniDiffモデルが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-12-08T05:36:14Z)
• Retrieval of Temporal Event Sequences from Textual Descriptions [0.0]
  TESRBenchはテキスト記述から時間的イベントシーケンスを検索するためのベンチマークである。 イベントシーケンスの埋め込みと検索のための新しいモデルであるTPP-Embeddingを提案する。 TPP-EmbeddingはTESRBenchデータセットのベースラインモデルよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-10-17T21:35:55Z)
• ComboStoc: Combinatorial Stochasticity for Diffusion Generative Models [65.82630283336051]
  拡散生成モデルの既存のトレーニングスキームにより,次元と属性の組み合わせによって区切られた空間が十分に標本化されていないことを示す。 構造を完全に活用するプロセスを構築し,ComboStocという名前でこの問題に対処する。
  論文  参考訳（メタデータ） (2024-05-22T15:23:10Z)
• TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
  TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。 提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。 我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
  論文  参考訳（メタデータ） (2024-01-06T06:26:49Z)
• DuETT: Dual Event Time Transformer for Electronic Health Records [14.520791492631114]
  我々はDuETTアーキテクチャを紹介した。これは、時間とイベントの両タイプにまたがるように設計されたトランスフォーマーの拡張である。 DuETTは集約された入力を使用し、スパース時系列は一定長さの正規シーケンスに変換される。 本モデルでは,MIMIC-IV と PhysioNet-2012 EHR データセットを用いて,複数の下流タスクにおける最先端のディープラーニングモデルより優れています。
  論文  参考訳（メタデータ） (2023-04-25T17:47:48Z)
• Event Voxel Set Transformer for Spatiotemporal Representation Learning on Event Streams [19.957857885844838]
  イベントカメラは、シーンをスパースで非同期なイベントストリームとして記録するニューロモルフィックな視覚センサである。 本稿では,イベントストリーム上での効率的な表現学習のためのイベントVoxel Set Transformer (EVSTr) という注目度モデルを提案する。 実験によると、EVSTrは低モデルの複雑さを維持しながら最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-03-07T12:48:02Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Continuous-time convolutions model of event sequences [46.3471121117337]
  イベントシーケンスは不均一でスパースであり、従来のモデルは不適当である。 我々は、時間とともに一様でない事象の発生を処理するために設計された効率的な畳み込みニューラルネットワークに基づくCOTICを提案する。 COTICは、次のイベント時間とタイプを予測する際に既存のモデルよりも優れており、最も近いライバルの3.714と比較して平均1.5のランクに達している。
  論文  参考訳（メタデータ） (2023-02-13T10:34:51Z)
• Learning Temporal Rules from Noisy Timeseries Data [72.93572292157593]
  我々は、ノイズのある時間的データ設定内で複合イベントにつながる基礎となる原子イベントとその関係を明らかにすることに注力する。 本稿では、まず原子イベント間の暗黙的な時間的関係を学習し、その後、制御のための論理規則を引き上げるニューラル時間論理プログラミング(Neural Temporal Logic Programming:Neural TLP)を提案する。
  論文  参考訳（メタデータ） (2022-02-11T01:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。