論文の概要: SHARP: Sleep-based Hierarchical Accelerated Replay for Long Range Non-Stationary Temporal Pattern Recognition

• arxiv url: http://arxiv.org/abs/2606.00732v2
• Date: Tue, 02 Jun 2026 18:41:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 17:40:41.579426
• Title: SHARP: Sleep-based Hierarchical Accelerated Replay for Long Range Non-Stationary Temporal Pattern Recognition
• Title（参考訳）: SHARP:長期非定常時間パターン認識のための睡眠に基づく階層的アクセラレーションリプレイ
• Authors: Jayanta Dey, Shikhar Srivastava, Itamar Lerner, Christopher Kanan, Dhireesha Kudithipudi,
• Abstract要約: SHARP(Sleep-based Hierarchical Accelerated Replay)は、時間学習を2つの補完的なコンポーネントに分解するフレームワークである。 SHARPは、緩やかな睡眠中に、げっ歯類で観察される加速されたリプレイにインスパイアされ、時間的に構造化されたメモリトレースをアクセラレーションされた形で再生するオフライン(スリープ)フェーズを組み込む。
• 参考スコア（独自算出の注目度）: 7.555597360852762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning long-range non-stationary temporal patterns remains a core challenge for modern sequence models, particularly in strict streaming settings. In these settings, data arrive sequentially and must be processed in a single pass without simultaneously revisiting past observations. Standard architectures, including recurrent neural networks and transformers, are constrained by either truncated backpropagation through time horizon or explicit input window length for long range credit assignment. To address these limitations, we propose SHARP (Sleep-based Hierarchical Accelerated Replay), a framework that decomposes temporal learning into two complementary components: a memory module that accumulates a structured history of past inputs, and a pattern-recognition module that operates over this memory. This separation enables resource- and compute-efficient adaptation to non-stationary dynamics by eliminating the need for backpropagation through time across many steps for long-range credit assignment. Inspired by the accelerated replay observed in rodents during slow-wave sleep, SHARP incorporates offline (sleep) phases in which temporally structured memory traces are replayed in an accelerated form and integrated into higher-level memory representations, improving long-range context retention. Through controlled simulations and ablation studies, we characterize the key properties of the proposed framework. In benchmark datasets such as text8 and PG-19, we demonstrate that SHARP improves over recurrent baselines by retaining next-token predictive performance on previously seen data while continuing to learn from the current stream and generalizing to future unseen data. These gains are enabled by its hierarchical structure, which yields an exponentially increasing effective temporal context with only linear-time computational cost.
• Abstract（参考訳）: 長距離非定常時間パターンの学習は、現代的なシーケンスモデル、特に厳密なストリーミング設定において、依然として重要な課題である。 これらの設定では、データは順次到着し、過去の観測を同時に再考することなく、単一のパスで処理されなければならない。 リカレントニューラルネットワークやトランスフォーマーを含む標準アーキテクチャは、時間的地平線を通る切り離されたバックプロパゲーションまたは長距離クレジット割り当てのための明示的な入力ウィンドウ長によって制約される。 これらの制約に対処するため,時相学習を相補的な2つのコンポーネントに分解するフレームワークであるSHARP(Sleep-based Hierarchical Accelerated Replay)と,このメモリ上で動作するパターン認識モジュールを提案する。 この分離により、長期クレジット割り当てのための多くのステップにまたがる時間によるバックプロパゲーションの必要性を排除し、リソースと計算効率の非定常力学への適応を可能にする。 SHARPは、緩やかな睡眠中に、げっ歯類で観察される加速リプレイにインスパイアされ、時間的に構造化されたメモリトレースをアクセラレーション形式で再生し、より高いレベルのメモリ表現に統合し、長期のコンテキスト保持を改善するオフライン(スリープ)フェーズを取り入れている。 制御されたシミュレーションとアブレーション研究を通じて,提案フレームワークの重要な特性を特徴付ける。 text8 や PG-19 などのベンチマークデータセットでは、SHARP が現在のストリームから学び続け、将来見えないデータに一般化し続けながら、これまで見たデータに対して次から次までの予測性能を維持することにより、繰り返しベースラインを改善できることを実証している。 これらの利得は階層構造によって実現され、線形時間計算コストのみで指数関数的に増大する時間的文脈をもたらす。

関連論文リスト

• TS-Haystack: A Multi-Scale Retrieval Benchmark for Time Series Language Models [4.387988928531881]
  時系列言語モデル(TSLM)は、自然言語における連続的な信号の推論のための統一モデルとして登場している。 既存のモデルは通常、短いシーケンスでトレーニングされ、評価されるが、現実の時系列センサーストリームは数百万のデータポイントにまたがる。 TS-Haystackは4つのカテゴリにまたがる10のタスクタイプからなる長期コンテキストの時間的評価ベンチマークである。
  論文  参考訳（メタデータ） (2026-02-15T15:50:02Z)
• MEMTS: Internalizing Domain Knowledge via Parameterized Memory for Retrieval-Free Domain Adaptation of Time Series Foundation Models [51.506429027626005]
  Memory for Time Series (MEMTS) は、時系列予測における検索不要領域適応のための軽量かつプラグアンドプレイ方式である。 MEMTSの鍵となるコンポーネントは知識永続化モジュール(KPM)であり、ドメイン固有の時間力学を内部化する。 このパラダイムシフトにより、MEMTSは定数時間推論とニアゼロレイテンシによる正確なドメイン適応を実現することができる。
  論文  参考訳（メタデータ） (2026-02-14T14:00:06Z)
• Long-Sequence Memory with Temporal Kernels and Dense Hopfield Functionals [0.0]
  長い系列ホップフィールドメモリモデルに関する初期の研究に基づいて、時間的依存関係を組み込むために時間的カーナル$K(m, k)$を提案する。 本手法が映画フレームの保存とシーケンシャル検索に有効であることを示す。
  論文  参考訳（メタデータ） (2025-06-27T15:57:58Z)
• Generative Models for Long Time Series: Approximately Equivariant Recurrent Network Structures for an Adjusted Training Scheme [4.327763441385371]
  本稿では,連続層を有する変分オートエンコーダ(VAE)に基づく時系列データに対する簡易かつ効果的な生成モデルを提案する。 本手法では,シーケンス長を漸進的に向上させる適応型トレーニング手法を提案する。 リカレントアーキテクチャを利用することで、モデルはシーケンス長に関係なく定数数のパラメータを保持する。
  論文  参考訳（メタデータ） (2025-05-08T07:52:37Z)
• Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate [16.4160685571157]
  リカレントニューラルネットワーク(RNN)は、時間的依存をモデル化する能力で広く認識されている。 本稿では、ゲートRNNのための新しい遅延メモリユニット(DMU)を提案する。 DMUは遅延線構造と遅延ゲートをバニラRNNに組み込み、時間的相互作用を高め、時間的信用割り当てを容易にする。
  論文  参考訳（メタデータ） (2023-10-23T14:29:48Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [55.596897987498174]
  本稿では,重み付き時間遅延フィードバック機構を備えたゲートリカレントユニット(GRU)を導入し,時系列データの長期依存性をモデル化する手法を提案する。 提案したモデルである $tau$-GRU は、繰り返し単位の連続時間定式化の離散版であり、力学は遅延微分方程式(DDE)によって制御される。
  論文  参考訳（メタデータ） (2022-12-01T02:26:34Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
  本稿では,カリキュラム学習とメモリ駆動デコーダによる冗長性を緩和する新しいフレームワークであるCLMFormerを紹介する。 CLMFormerはTransformerベースのモデルを最大30%改善し、長距離予測の有効性を示している。
  論文  参考訳（メタデータ） (2022-07-16T04:05:15Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)
• Temporal Memory Relation Network for Workflow Recognition from Surgical Video [53.20825496640025]
  本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。 我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
  論文  参考訳（メタデータ） (2021-03-30T13:20:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。