論文の概要: ChronoSSM: Training for Temporally Aware Representations in Autoregressive State Space Models
- arxiv url: http://arxiv.org/abs/2608.10120v1
- Date: Mon, 10 Aug 2026 18:35:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.786946
- Title: ChronoSSM: Training for Temporally Aware Representations in Autoregressive State Space Models
- Title(参考訳): ChronoSSM:自己回帰状態空間モデルにおける時間的認識表現の訓練
- Abstract要約: イベントとタイムスタンプを共有バックボーンでモデル化する自動回帰状態空間モデル(SSM)であるChronoSSMを紹介する。
時間的監視は、自己回帰イベントモデリングを著しく劣化させることなく、時間的により情報的な表現を生み出すことができることを示す。
- 参考スコア(独自算出の注目度): 0.5366467936613011
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern sequence models, from Transformers to State Space Models, have enabled powerful generative modeling across diverse domains, yet they are typically trained to predict what happens while treating when it happens as a secondary concern. In data-mining settings where events are associated with explicit timing information, this separation can limit temporal reasoning, anomaly detection, and faithful reconstruction of event chronology. A common strategy is to treat timing as an auxiliary signal, training a separate timing model using representations learned solely for event prediction. However, this two-stage approach implicitly assumes that representations optimized for event prediction already contain sufficient temporal structure. We introduce ChronoSSM, an autoregressive State Space Model (SSM) that jointly models events and timestamps with a shared backbone trained using combined token and temporal generation objectives. We compare the joint regime, where temporal supervision updates the backbone, with the two-stage regime, where timing is learned only using the frozen event representations. Across four domains spanning dense and partial timestamp supervision, joint training consistently makes inter-arrival information more recoverable from frozen representations without any systematic degradation in content-generation quality overall. Our results show that temporal supervision can produce more temporally informative representations without materially degrading autoregressive event modeling.
- Abstract(参考訳): トランスフォーマーからステートスペースモデルまで、現代のシーケンスモデルは様々な領域にまたがる強力な生成モデリングを可能にしてきました。
イベントが明示的なタイミング情報と関連付けられているデータマイニング環境では、この分離は時間的推論、異常検出、イベント時系列の忠実な再構築を制限することができる。
一般的な戦略は、タイミングを補助信号として扱い、イベント予測のみに学習した表現を用いて個別のタイミングモデルを訓練することである。
しかし、この2段階のアプローチは、イベント予測に最適化された表現が既に十分な時間構造を持っていることを暗黙的に仮定する。
自動回帰状態空間モデル(SSM)であるChronoSSMを導入する。これはイベントとタイムスタンプを,トークンと時間生成を併用してトレーニングした共有バックボーンと共同でモデル化するものだ。
我々は,時間的監督がバックボーンを更新する共同体制と,凍結したイベント表現のみを用いてタイミングを学習する2段階体制を比較した。
密集したタイムスタンプと部分的なタイムスタンプ管理にまたがる4つの領域において、共同トレーニングは、全体的なコンテンツ生成品質を体系的に劣化させることなく、凍結した表現から陸地間の情報を回復しやすくする。
その結果,時間的監視は,自己回帰的事象モデリングを著しく劣化させることなく,時間的情報的表現を創出できることが示唆された。
関連論文リスト
- Generative Event Pretraining with Foundation Model Alignment [25.86429472344715]
イベントカメラは、高速な動きと難解な照明条件下で、堅牢な視覚信号を提供する。
ユニークなセンシング特性とラベル付きデータの制限により、イベントベースのビジュアルファンデーションモデルのトレーニングが困難になる。
GEP(Generative Event Pretraining)は,インターネット規模の画像データセットから学習したセマンティック知識をイベントデータに転送する2段階のフレームワークである。
論文 参考訳(メタデータ) (2026-03-24T10:10:34Z) - Stochastic Event Prediction via Temporal Motif Transitions [0.0]
時間的リンク予測手法は、通常、タスクを負のサンプリングを伴うバイナリ分類として表す。
本稿では、時系列リンク予測を連続時間における逐次予測問題として再構成するフレームワークSTEP(Stochastic Event Predictor)を紹介する。
論文 参考訳(メタデータ) (2026-03-06T03:51:40Z) - UniDiff: A Unified Diffusion Framework for Multimodal Time Series Forecasting [90.47915032778366]
マルチモーダル時系列予測のための統合拡散フレームワークUniDiffを提案する。
コアには統一的で並列な融合モジュールがあり、単一のクロスアテンション機構がタイムスタンプからの構造化情報とテキストからのセマンティックコンテキストを統合する。
8つの領域にわたる実世界のベンチマークデータセットの実験は、提案したUniDiffモデルが最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2025-12-08T05:36:14Z) - TIMED: Adversarial and Autoregressive Refinement of Diffusion-Based Time Series Generation [0.31498833540989407]
TIMEDは、フォワード-リバース拡散プロセスを通じてグローバル構造をキャプチャする統合生成フレームワークである。
特徴空間における実および合成分布をさらに整合させるため、TIMEDは最大平均離散性(MMD)損失を取り入れている。
我々は、TIMEDが最先端の生成モデルよりも現実的で時間的に一貫性のあるシーケンスを生成することを示す。
論文 参考訳(メタデータ) (2025-09-23T23:05:40Z) - EventTSF: Event-Aware Non-Stationary Time Series Forecasting [73.54313384419792]
EventTSFは、過去の時系列とテキストイベントを統合し、その後の予測を行う自動回帰生成フレームワークである。
8つの合成および実世界のデータセットの実験によると、EventTSFは、さまざまなイベント対応の非定常時系列予測シナリオで12のベースラインを上回っている。
論文 参考訳(メタデータ) (2025-08-19T01:28:47Z) - Towards Foundation Model on Temporal Knowledge Graph Reasoning [17.165969719351125]
時間的知識グラフ(TKG)は、時間的事実を4重形式(s, p, o, t)で格納する。
新しいモデルは、細粒度時間パターンを捉えるために正弦波位置符号化を用いる。
PostRAは、目に見えない時間的知識グラフに強いゼロショット性能を示す。
論文 参考訳(メタデータ) (2025-06-04T09:19:49Z) - DualCast: A Model to Disentangle Aperiodic Events from Traffic Series [15.49210279729803]
本稿では,交通信号を空間内時間パターンと外部環境コンテキストに分離するデュアルブランチフレームワークであるDualCastを提案する。
我々は,周期的パターンと周期的パターンの両方から高次空間的関係を捉えるために,時間的アテンション機構を用いる。
最近のトラフィック予測モデルと統合し、複数の実際のデータセットで予測エラーを最大9.6%削減します。
論文 参考訳(メタデータ) (2024-11-27T12:17:50Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳(メタデータ) (2024-02-04T13:10:51Z) - Continuous-time convolutions model of event sequences [46.3471121117337]
イベントシーケンスは不均一でスパースであり、従来のモデルは不適当である。
我々は、時間とともに一様でない事象の発生を処理するために設計された効率的な畳み込みニューラルネットワークに基づくCOTICを提案する。
COTICは、次のイベント時間とタイプを予測する際に既存のモデルよりも優れており、最も近いライバルの3.714と比較して平均1.5のランクに達している。
論文 参考訳(メタデータ) (2023-02-13T10:34:51Z) - Persistence-Based Discretization for Learning Discrete Event Systems
from Time Series [50.591267188664666]
Persistは、永続化スコアと呼ばれるスコアを使用して永続的なシンボルを作成するための離散化手法である。
パーシステンススコアで用いられる計量であるクルバック・リーブラーの発散をワッサーシュタイン距離に置き換える。
実験により、改善された永続化スコアは、パーシストが元の時系列の情報を取得する能力を高めることが示されている。
論文 参考訳(メタデータ) (2023-01-12T14:10:30Z) - Effective Distant Supervision for Temporal Relation Extraction [49.20329405920023]
新しい領域における時間的関係抽出モデルを訓練するための主要な障壁は、多様で高品質な例がないことである。
本稿では,時間関係の遠隔管理例を自動的に収集する手法を提案する。
論文 参考訳(メタデータ) (2020-10-24T03:17:31Z) - Unsupervised Video Decomposition using Spatio-temporal Iterative
Inference [31.97227651679233]
マルチオブジェクトシーンの分解は、学習において急速に進化する問題である。
色情報のないモデルでも精度が高いことを示す。
本稿では, モデルの分解, セグメント化予測能力を実証し, いくつかのベンチマークデータセットにおいて, 最先端のモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-06-25T22:57:17Z) - Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。
ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。
我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
論文 参考訳(メタデータ) (2020-06-20T03:29:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。