論文の概要: Liquid Gated Attention

• arxiv url: http://arxiv.org/abs/2608.30695v1
• Date: Mon, 31 Aug 2026 12:30:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.389703
• Title: Liquid Gated Attention
• Title（参考訳）: 液体ゲーテッドの注意
• Abstract要約: LGA(Liquid Gated Attention)は、ソルバフリーの並列時間演算子である。 LGA上に構築されたLFormerは,連続時間表現学習のためのモジュールバックボーンである。
• 参考スコア（独自算出の注目度）: 12.636376869841826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world time series often exhibit irregular sampling and extended temporal horizons, requiring models to capture continuous-time dynamics across arbitrary intervals without prohibitive scaling costs. Discrete-time methods collapse variable time intervals into static positional steps; solver-dependent continuous-time models preserve temporal structure but rely on sequential integration, precluding parallelization; and solver-free approximations avoid this cost yet none couples observed time intervals with input-driven state modulation. We propose Liquid Gated Attention (LGA), a solver-free parallel temporal operator. By parameterizing an input-driven gating mechanism with observed time intervals, LGA introduces a continuous-time inductive bias and formulates hidden state evolution as a fast-weight associative memory, enabling parallel computation across the temporal dimension. Using matrix associativity in non-causal encoding and a prefix scan in causal encoding, LGA attains linear temporal complexity in sequence length in both modes. A sequence-level normalization bounds cumulative temporal decay for stable long-horizon optimization. Building on LGA, we instantiate LFormer, a modular backbone for continuous-time representation learning. Across six tasks and sixteen datasets spanning up to 17,984 steps, LFormer demonstrates long-range dependency modeling, fine-grained state tracking, and trajectory reconstruction from sparse and noisy observations, while delivering competitive performance against state-of-the-art discrete-time and continuous-time baselines with linear scaling efficiency.
• Abstract（参考訳）: 実世界の時系列は、しばしば不規則なサンプリングと拡張された時間的水平線を示すため、モデルは制限的なスケーリングコストを伴わずに任意の間隔で連続時間ダイナミクスをキャプチャする必要がある。 離散時間法は、変数時間間隔を静的な位置決めステップに分解する;ソルバ依存の連続時間モデルは、時間構造を保存するが、逐次積分に依存し、並列化を先取りし、ソルバフリー近似は、このコストを避けるが、入力駆動状態変調と観測時間間隔を結合しない。 並列時間演算子であるLiquid Gated Attention (LGA)を提案する。 入力駆動ゲーティング機構を観測時間間隔でパラメータ化することにより、LGAは連続時間帰納バイアスを導入し、隠れ状態の進化を高速な連想記憶として定式化し、時間次元の並列計算を可能にする。 非因果的エンコーディングにおける行列連想性と因果的エンコーディングにおけるプレフィックススキャンを用いて、LGAは両方のモードにおける配列長における線形時間的複雑さを達成できる。 シーケンスレベルの正規化は、安定な長距離最適化のための累積時間減衰をバウンドする。 LGA上に構築されたLFormerは,連続時間表現学習のためのモジュールバックボーンである。 最大17,984ステップにまたがる6つのタスクと16のデータセットに対して、LFormerは、線形スケーリング効率で、最先端の離散時間と連続時間のベースラインに対する競合的なパフォーマンスを提供しながら、長距離依存性モデリング、きめ細かい状態追跡、スパースとノイズからの軌道再構成をデモした。

関連論文リスト

• Faithful Embeddings of Irregular and Asynchronous Data for Online Log-NCDEs [43.7379426352196]
  補間および計算に基づく埋め込みは、連続的な観測経路を再構築する。 軽度条件下では, この再建は不要であることを示す。 連続時間モデルの普遍クラスであるLog-NCDEに対して,連続的かつインジェクティブな埋め込みを導入する。
  論文  参考訳（メタデータ） (2026-05-28T16:46:11Z)
• Latent Laplace Diffusion for Irregular Multivariate Time Series [16.474933482743513]
  対象を低次元の潜在軌道としてモデル化する生成フレームワークであるLaplace Diffusionを提案する。 LLapDiffは、物理的時間とともにステップバイステップの統合なしで水平線全体の生成を可能にする。 また, 連続力学と不規則な観測とを更新・蓄積解析により関連づける。
  論文  参考訳（メタデータ） (2026-05-19T13:04:53Z)
• Continuous-Time Distribution Matching for Few-Step Diffusion Distillation [57.28746398500951]
  本稿では,CDM(Continuous-Time Distribution Matching)を導入し,DMDフレームワークを個別アンカーから連続最適化へ移行する。 まず、固定離散スケジュールをランダム長の動的連続スケジュールに置き換える。 第二に、学生の速度場を介して外挿された潜伏者に対してアクティブな軌道外マッチングを行う連続時間アライメント目的を提案する。
  論文  参考訳（メタデータ） (2026-05-07T14:56:39Z)
• FoSS: Modeling Long Range Dependencies and Multimodal Uncertainty in Trajectory Prediction via Fourier State Space Integration [21.39395366378851]
  本稿では,周波数領域推論と線形時間列モデリングを融合した二分岐フレームワークFoSSを提案する。 Argoverse 1とArgoverse 2ベンチマークの実験では、FoSSが最先端の精度を実現し、22.5%、パラメータが40%以上削減された。
  論文  参考訳（メタデータ） (2026-03-01T21:38:59Z)
• Forecasting as Rendering: A 2D Gaussian Splatting Framework for Time Series Forecasting [79.37674445572462]
  時系列予測(TSF)は、周期内変動と周期間トレンドの複雑な絡み合いのため、依然として困難な問題である。 形状変化テンソルを静止画像として扱うと、トポロジカルミスマッチが発生する。 均一な固定サイズの表現に依存することは、モデリング能力を非効率に割り当てる。 TimeGSは、予測パラダイムをレグレッションから2D生成レンダリングに根本的にシフトする、新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-02-10T14:13:36Z)
• Less Is More: Generating Time Series with LLaMA-Style Autoregression in Simple Factorized Latent Spaces [29.349850914912846]
  離散化された量子化潜在空間上の自己回帰変換器と不整合分解を結合して時系列を生成する,シンプルで効果的なフレームワークであるFAR-TSを提案する。 LLaMAスタイルの自己回帰変換器はこれらのトークンシーケンスをモデル化し、任意の長さで高速かつ制御可能なシーケンスの生成を可能にする。
  論文  参考訳（メタデータ） (2025-11-07T04:15:38Z)
• Oscillatory State-Space Models [61.923849241099184]
  長いシーケンスを効率的に学習するための線形状態空間モデル(LinOSS)を提案する。 高速な連想並列スキャンを用いて時間とともに統合された安定な離散化により、提案した状態空間モデルが得られる。 我々はLinOSSが普遍であること、すなわち時間変化関数間の連続および因果作用素写像を近似できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T22:00:13Z)
• Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
  ConvS5は、長距離時間モデリングのための効率的な変種である。 トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
  論文  参考訳（メタデータ） (2023-10-30T16:11:06Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)
• The Connection between Discrete- and Continuous-Time Descriptions of Gaussian Continuous Processes [60.35125735474386]
  我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。 この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
  論文  参考訳（メタデータ） (2021-01-16T17:11:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。