論文の概要: Treating Brain-inspired Memories as Priors for Diffusion Model to Forecast Multivariate Time Series

• arxiv url: http://arxiv.org/abs/2409.18491v1
• Date: Fri, 27 Sep 2024 07:09:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 05:52:22.699448
• Title: Treating Brain-inspired Memories as Priors for Diffusion Model to Forecast Multivariate Time Series
• Title（参考訳）: 拡散モデルによる多変量時系列予測における脳誘発記憶の治療
• Authors: Muyao Wang, Wenchao Chen, Zhibin Duan, Bo Chen,
• Abstract要約: 人間の記憶機構からインスピレーションを得て、時間的パターンをよりよく捉えます。 脳にインスパイアされた記憶はセマンティックメモリとエピソードメモリから構成される。 脳にインスパイアされたメモリ拡張拡散モデルを提案する。
• 参考スコア（独自算出の注目度）: 16.315066774520524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Forecasting Multivariate Time Series (MTS) involves significant challenges in various application domains. One immediate challenge is modeling temporal patterns with the finite length of the input. These temporal patterns usually involve periodic and sudden events that recur across different channels. To better capture temporal patterns, we get inspiration from humans' memory mechanisms and propose a channel-shared, brain-inspired memory module for MTS. Specifically, brain-inspired memory comprises semantic and episodic memory, where the former is used to capture general patterns, such as periodic events, and the latter is employed to capture special patterns, such as sudden events, respectively. Meanwhile, we design corresponding recall and update mechanisms to better utilize these patterns. Furthermore, acknowledging the capacity of diffusion models to leverage memory as a prior, we present a brain-inspired memory-augmented diffusion model. This innovative model retrieves relevant memories for different channels, utilizing them as distinct priors for MTS predictions. This incorporation significantly enhances the accuracy and robustness of predictions. Experimental results on eight datasets consistently validate the superiority of our approach in capturing and leveraging diverse recurrent temporal patterns across different channels.
• Abstract（参考訳）: 多変量時系列の予測(MTS)は、様々なアプリケーション領域において重大な課題を伴う。 直近の課題の1つは、入力の有限長の時間パターンをモデル化することである。 これらの時間的パターンは、通常、異なるチャネルにまたがる周期的な出来事と突然の出来事を含む。 時間的パターンをよりよく捉えるために、人間の記憶機構からインスピレーションを得て、MSSのためのチャネル共有型脳誘発メモリモジュールを提案する。 具体的には、脳にインスパイアされた記憶は、セマンティックメモリとエピソードメモリを含んでおり、前者は周期的な出来事などの一般的なパターンを、後者は突然の出来事などの特別なパターンをキャプチャするために使用される。 一方、これらのパターンをよりよく活用するために、対応するリコールおよび更新機構を設計する。 さらに,前者としてメモリを利用する拡散モデルの能力を認め,脳にインスパイアされたメモリ拡張拡散モデルを提案する。 このイノベーティブなモデルでは、異なるチャネルの関連記憶を検索し、それらをMTS予測の異なる先行要素として活用する。 この組み込みは予測の精度と堅牢性を著しく向上させる。 8つのデータセットに対する実験結果は、異なるチャネルにわたる多様な時間パターンを捕捉し、活用する際のアプローチの優位性を一貫して評価する。

関連論文リスト

• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• TIMBA: Time series Imputation with Bi-directional Mamba Blocks and Diffusion models [0.0]
  時間指向変換器を状態空間モデル(SSM)に置き換えることを提案する。 我々は、拡張表現を実現するために、SSM、グラフニューラルネットワーク、ノード指向変換器を統合するモデルを開発する。
  論文  参考訳（メタデータ） (2024-10-08T11:10:06Z)
• SSM Meets Video Diffusion Models: Efficient Long-Term Video Generation with Structured State Spaces [20.23192934634197]
  映像生成のための最近の拡散モデルでは、時間的特徴を抽出するために注意層を主に利用している。 この制限は拡散モデルを用いてより長いビデオシーケンスを生成する際に大きな課題をもたらす。 本研究では,状態空間モデル(SSM)を時間的特徴抽出器として活用することを提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:53:56Z)
• Spatially-Aware Transformer for Embodied Agents [20.498778205143477]
  本稿では,空間情報を含む空間認識変換器モデルの利用について検討する。 メモリ利用効率が向上し,様々な場所中心の下流タスクにおいて精度が向上することが実証された。 また,強化学習に基づくメモリ管理手法であるAdaptive Memory Allocatorを提案する。
  論文  参考訳（メタデータ） (2024-02-23T07:46:30Z)
• Memory-Efficient Fine-Tuning for Quantized Diffusion Model [12.875837358532422]
  本稿では,量子化拡散モデルのためのメモリ効率の良い微調整手法であるTuneQDMを紹介する。 提案手法は, 単目的/多目的の両方の世代において, ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-01-09T03:42:08Z)
• Memory-and-Anticipation Transformer for Online Action Understanding [52.24561192781971]
  本稿では,過去,現在,未来を含む時間構造全体をモデル化する,メモリ予測に基づく新しいパラダイムを提案する。 本稿では,メモリ・アンド・アンティフィケーション・トランスフォーマ(MAT)を提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:34:54Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)
• Temporal Memory Relation Network for Workflow Recognition from Surgical Video [53.20825496640025]
  本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。 我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
  論文  参考訳（メタデータ） (2021-03-30T13:20:26Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。