論文の概要: Time Delay System for Sequence Modeling

• arxiv url: http://arxiv.org/abs/2610.12864v1
• Date: Fri, 09 Oct 2026 01:43:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.342147
• Title: Time Delay System for Sequence Modeling
• Title（参考訳）: 時系列モデリングのための時間遅延システム
• Abstract要約: 既存のシーケンスモデルには、コンテンツ対応の時間的リコールのための明示的で解釈可能なメカニズムが欠けている。 本稿では,現在と過去の入力のセマンティックな類似性に基づいて,有効遅延を動的に推定する非線形時間遅延システムに基づく新しいフレームワークを提案する。 提案手法には3つの重要な革新がある: (i) (i) (i) (i) (i) (i) (i) (i) (i)) (i) (i) (i) (i) (i)) (i) (i) (i) (i)) (i) (i) (i) (i) (i)) (i) (i) (i) (i)) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (i)) (i) (i) (i) (i) (i) (i) (i) (i) (i)) (i)) (i) (i)) (i)) (i) (i) (i)) (i))) (i) (i)) (i)))) (i)) (i))) (i) (i)
• 参考スコア（独自算出の注目度）: 12.45993387473373
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Existing sequence models share a critical limitation: they lack an explicit, interpretable mechanism for content-aware temporal recall. LSTMs compress everything into a single hidden state, thereby losing information about specific past events. Transformers attend to all tokens indiscriminately at quadratic cost, while state-space models like Mamba compress history into a fixed-dimensional state without explicit content-addressable memory. To address this gap, we introduce a novel framework grounded in nonlinear time-delay systems, in which the effective delay is dynamically estimated based on the semantic similarity between current and historical inputs. Our approach features three key innovations: (i) a differentiable semantic lag estimator that computes content-aware soft attention weights over history, producing a weighted historical context and similarity score; (ii) a diagonal state space with closed-form cumulative sum solution, achieving O(1) per-step complexity with no sequential loops; and (iii) an interpretable fuzzy semantic modulation mechanism that learns context-dependent rules for balancing instantaneous processing versus historical recall, where rule centers correspond to prototypical semantic contexts. Experimental results on text classification and generation outperform state-of-the-art methods.
• Abstract（参考訳）: 既存のシーケンスモデルは、コンテンツ対応の時間的リコールのための明示的で解釈可能なメカニズムを欠いている。 LSTMはすべてを単一の隠れ状態に圧縮し、特定の過去の出来事に関する情報を失う。 トランスフォーマーは2次コストで無差別に全てのトークンに対応し、一方、Mambaのような状態空間モデルは、明示的なコンテント調整可能なメモリを使わずに、履歴を固定次元の状態に圧縮する。 このギャップに対処するために、非線形時間遅延システムに基づく新しいフレームワークを導入し、現在の入力と過去の入力のセマンティックな類似性に基づいて、有効遅延を動的に推定する。 このアプローチには3つの重要なイノベーションがあります。 一 歴史的文脈及び類似点を重み付けした内容対応ソフトアテンション重みを算出する、識別可能な意味ラグ推定器 (ii) 閉形式累積和解を持つ対角状態空間であって、逐次ループのないステップ毎の複雑性を達成すること。 三 ファジィ・セマンティック・モジュレーションのメカニズムで、文脈依存のルールを学習し、即時処理と過去のリコールのバランスをとる。 テキスト分類と生成の最先端化に関する実験結果

関連論文リスト

• Dual-Interest Sequential Product Recommendation With Multi-Granular SSM [4.649779668774962]
  シークエンシャルレコメンデーションは、ユーザが過去の行動に基づいて、次に対話するアイテムを予測することを目的としている。 既存のほとんどのメソッドは、アイテムのポリセミー現象を見越して、各アイテムを単一の静的なコンテキストロールでエンコードする。 DSRecは、アイテムロールを長期的および短期的セマンティックコンテキストで明確に切り離す、新しい双方向関心クロスSSMモデルである。
  論文  参考訳（メタデータ） (2026-09-18T09:40:51Z)
• TS-Haystack: A Multi-Scale Retrieval Benchmark for Time Series Language Models [4.387988928531881]
  時系列言語モデル(TSLM)は、自然言語における連続的な信号の推論のための統一モデルとして登場している。 既存のモデルは通常、短いシーケンスでトレーニングされ、評価されるが、現実の時系列センサーストリームは数百万のデータポイントにまたがる。 TS-Haystackは4つのカテゴリにまたがる10のタスクタイプからなる長期コンテキストの時間的評価ベンチマークである。
  論文  参考訳（メタデータ） (2026-02-15T15:50:02Z)
• Towards Infinite Length Extrapolation: A Unified Approach [0.0]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、長いシーケンスを処理する能力は、訓練中のコンテキストウィンドウサイズによって根本的に制限されている。 我々は、注目スコアを乗法変換と加法バイアスに分解するものとして、位置符号化手法を再解釈する統一的なフレームワークを使用する。 我々の理論的解析は、無限コンテキスト外挿条件を確立し、ソフトマックスハンドリングが、長距離相関、エントロピー境界性、勾配位置感度を保ちながら、非有界列に対して適切に定義されていることを保証している。
  論文  参考訳（メタデータ） (2026-01-03T14:10:23Z)
• STDiff: A State Transition Diffusion Framework for Time Series Imputation in Industrial Systems [2.3895981099137535]
  そこで本研究では,ある状態から次の状態へシステムがどのように進化するかを学ぶために,命令を書き換えるSTDiffを提案する。 STDiffは低いエラーを継続的に達成し、その利点は長いギャップで増大する。 これらの結果は、産業時系列の堅牢なアプローチとして、動的に認識され、明示的な条件付き計算をサポートする。
  論文  参考訳（メタデータ） (2025-08-26T13:14:53Z)
• PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
  State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。 本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。 我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
  論文  参考訳（メタデータ） (2025-02-24T19:48:00Z)
• Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
  カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。 提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
  論文  参考訳（メタデータ） (2024-07-02T09:11:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。