Fugu-MT 論文翻訳(概要): LLMODE: Aligning ODEs with LLMs via Gated Token Injection for Irregular Spatio-Temporal Forecasting

論文の概要: LLMODE: Aligning ODEs with LLMs via Gated Token Injection for Irregular Spatio-Temporal Forecasting

arxiv url: http://arxiv.org/abs/2608.29640v1
Date: Sun, 30 Aug 2026 08:02:20 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:31.03699
Title: LLMODE: Aligning ODEs with LLMs via Gated Token Injection for Irregular Spatio-Temporal Forecasting
Title（参考訳）: LLMODE:不規則時空間予測のためのゲートトケインジェクションによるLDMの調整
Abstract要約: 大規模言語モデル(LLM)は不規則な時間的予測を約束しているが、既存のアプローチは定期的にサンプリングされたトークンシーケンスに依存することが多い。凍結したバックボーンを用いた表現時間予測のためのトークン効率のよいフレームワーク LLMODE を提案する。
参考スコア（独自算出の注目度）: 27.848815822218366
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) have shown promise for spatio-temporal forecasting, but existing approaches often rely on regularly sampled token sequences and struggle with irregular observations because of temporal asynchrony, representation-space misalignment, and limited context windows. We propose LLMODE, a token-efficient framework for irregular spatio-temporal forecasting with a frozen LLM backbone. LLMODE first uses a graph-aware ODE encoder to reconstruct irregular graph observations as a continuous-time latent trajectory. A Fixed-Budget Perceiver Resampler then compresses this variable-length trajectory into a fixed number of dynamic memory tokens. In parallel, compact statistical descriptors are encoded and resampled into context memory tokens. A dual-source gated cross-attention module injects both memories into the frozen LLM, enabling controlled utilization of external spatio-temporal evidence. Experiments on three real-world urban datasets and two physical-dynamics benchmarks show competitive overall performance, with clearer advantages under sparse or dynamically complex irregular sampling. Additional evaluations on unseen urban regions further demonstrate strong zero-shot generalization without adaptation.
Abstract（参考訳）: 大規模言語モデル(LLM)は時空間予測の公約を示すが、既存のアプローチでは時間的非同期性、表現空間のミスアライメント、限られたコンテキストウィンドウのため、定期的にサンプリングされたトークンシーケンスと不規則な観測に苦慮することが多い。凍結したLLMバックボーンを用いた不規則時空間予測のためのトークン効率のよいフレームワーク LLMODE を提案する。 LLMODEはまず、グラフ対応ODEエンコーダを使用して、不規則なグラフ観測を連続的な遅延軌道として再構成する。 Fixed-Budget Perceiver Resamplerはこの可変長のトラジェクトリを固定数の動的メモリトークンに圧縮する。並行して、コンパクトな統計ディスクリプタがエンコードされ、コンテキストメモリトークンに再サンプリングされる。二重ソースゲートのクロスアテンションモジュールは、両方のメモリを凍結LDMに注入し、外部時空間証拠の制御を可能にする。 3つの実世界の都市データセットと2つの物理力学ベンチマークの実験は、スパースまたは動的に複雑な不規則サンプリングの下で、より明確な利点を持つ、競争的な全体的なパフォーマンスを示している。未確認都市部のさらなる評価は、適応を伴わない強力なゼロショット一般化を示す。

関連論文リスト

Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering [13.074536659496362]
大規模言語モデル(LLM)の最近の進歩により、時系列質問応答(TSQA)が生まれている。 TSQAは時系列解析を自然言語による質問応答として定式化する。この課題に対処するために、直接時間ステップ埋め込みとセマンティックアライメントという2つの重要なコンポーネント上に構築されたTSQAのための新しいフレームワークであるCADEを提案する。
論文参考訳（メタデータ） (2026-06-17T12:07:23Z)
Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
論文参考訳（メタデータ） (2026-05-19T12:01:13Z)
Perceive, Route and Modulate: Dynamic Pattern Recalibration for Time Series Forecasting [68.53528085362642]
現在の深い予測モデルは、すべての時間トークンに一様に適用される固定重み行列に依存している。トークンレベルの再校正によってこれを解決するバックボーンに依存しないメカニズムであるDynamic Pattern Recalibrationを導入する。 DPRNetは12ベンチマークで競合性能を達成し、マクロパラメータスケーリングに対する動的リカバリを検証する。
論文参考訳（メタデータ） (2026-05-07T14:12:47Z)
LEFT: Learnable Fusion of Tri-view Tokens for Unsupervised Time Series Anomaly Detection [53.191369031661885]
教師なし時系列異常検出は、アノテーションの可用性を前提とせず、異常なタイムスタンプを識別するモデルを構築することを目的としている。本稿では,非教師付きTSADフレームワークであるLearnable Fusion of Tri-view Tokens(LEFT)について述べる。実世界のベンチマーク実験では、LEFTはSOTAベースラインに対して最高の検出精度を示し、FLOPの5倍、トレーニングの8倍のスピードアップを実現している。
論文参考訳（メタデータ） (2026-02-09T13:33:49Z)
Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
本研究は自己回帰型モンテカルロ(SMC)を提示する。提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
論文参考訳（メタデータ） (2026-02-02T09:21:45Z)
Enhancing Zero-Shot Time Series Forecasting in Off-the-Shelf LLMs via Noise Injection [18.267727687739853]
大言語モデル(LLM)はゼロショット時系列(TS)予測器として有効であることを示した。鍵となる課題は、TSデータを LLM の事前訓練された知識と一致したテキスト表現にトークン化することである。 LLMの事前学習スコープを利用した2つの新しいTSデータセットを導入し、改良された性能を継続的に観察する。
論文参考訳（メタデータ） (2025-12-23T08:02:33Z)
SPEAR: Soft Prompt Enhanced Anomaly Recognition for Time Series Data [15.670885465827206]
時系列異常検出は、医療やインターネットトラフィック監視など、幅広い分野において重要な役割を果たす。大規模言語モデル(LLM)の出現は、ユビキタス時系列データの異常を検出する新たな機会を提供する。ソフトプロンプト・エンハンスメント・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマリー・アノマ
論文参考訳（メタデータ） (2025-10-04T22:20:48Z)
AXIS: Explainable Time Series Anomaly Detection with Large Language Models [33.68487894996624]
AXISは、時系列理解のための凍結したLarge Language Models (LLM) を規定するフレームワークである。 LLMは離散トークンで動作し、長い連続的な信号を直接処理するのに苦労する。文脈的接地とパターンレベルのセマンティクスを監督するマルチフォーマットの質問と合理性を特徴とする新しいベンチマークを導入する。
論文参考訳（メタデータ） (2025-09-29T07:24:22Z)
SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention [53.4441894198495]
大きな言語モデル(LLM)は、非常に長いコンテキストウィンドウをサポートするようになった。バニラの注意の二次的な複雑さは、TTFT(Time-to-First-Token)レイテンシを著しく長くする。適応型構造とほぼロスレスなスパースアテンションであるSampleAttentionを提案する。
論文参考訳（メタデータ） (2024-06-17T11:05:15Z)
Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
論文参考訳（メタデータ） (2024-03-04T17:34:59Z)
Explaining Time Series via Contrastive and Locally Sparse Perturbations [45.055327583283315]
ContraLSPは、非形式的摂動を構築するために反事実サンプルを導入するスパースモデルである。合成と実世界の両方のデータセットに関する実証研究は、ContraLSPが最先端のモデルより優れていることを示している。
論文参考訳（メタデータ） (2024-01-16T18:27:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。