論文の概要: Sequential Order-Robust Mamba for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2410.23356v1
• Date: Wed, 30 Oct 2024 18:05:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:49.587929
• Title: Sequential Order-Robust Mamba for Time Series Forecasting
• Title（参考訳）: 時系列予測のための逐次順序ロバストマンバ
• Authors: Seunghan Lee, Juri Hong, Kibok Lee, Taeyoung Park,
• Abstract要約: MambaはTransformersに代わる有望な選択肢として登場し、シーケンシャルデータの処理において、ほぼ直線的な複雑さを提供する。 本稿では,データから生成された2つの埋め込みベクトルと逆チャネル順序との差を最小限に抑えるため,正規化戦略を取り入れたTS予測手法であるSOR-Mambaを提案する。 また,CDを捕捉する能力を高めるために,データ空間から潜在空間までのチャネル間の相関関係の保存を目的とした事前学習タスクであるチャネル相関モデリング(CCM)を導入する。
• 参考スコア（独自算出の注目度）: 5.265578815577529
• License:
• Abstract: Mamba has recently emerged as a promising alternative to Transformers, offering near-linear complexity in processing sequential data. However, while channels in time series (TS) data have no specific order in general, recent studies have adopted Mamba to capture channel dependencies (CD) in TS, introducing a sequential order bias. To address this issue, we propose SOR-Mamba, a TS forecasting method that 1) incorporates a regularization strategy to minimize the discrepancy between two embedding vectors generated from data with reversed channel orders, thereby enhancing robustness to channel order, and 2) eliminates the 1D-convolution originally designed to capture local information in sequential data. Furthermore, we introduce channel correlation modeling (CCM), a pretraining task aimed at preserving correlations between channels from the data space to the latent space in order to enhance the ability to capture CD. Extensive experiments demonstrate the efficacy of the proposed method across standard and transfer learning scenarios. Code is available at https://github.com/seunghan96/SOR-Mamba.
• Abstract（参考訳）: Mambaは最近、Transformersの有望な代替として登場し、シーケンシャルデータの処理において、ほぼ直線的な複雑さを提供する。 しかしながら、時系列(TS)データのチャネルは一般に特定の順序を持たないが、近年の研究では、TSのチャネル依存性(CD)をキャプチャするためにMambaを採用し、逐次順序バイアスを導入している。 そこで本研究では,TS予測手法であるSOR-Mambaを提案する。 1) 正則化戦略を導入し、逆チャネル順序のデータから生成された2つの埋め込みベクトル間の差を最小限に抑えることにより、チャネル順序に対する堅牢性を向上する。 2) ローカル情報をシーケンシャルなデータでキャプチャするために設計された1D畳み込みを除去する。 さらに,CDを捕捉する能力を高めるために,データ空間から潜在空間までのチャネル間の相関関係の保存を目的とした事前学習タスクであるチャネル相関モデリング(CCM)を導入する。 広範に実験を行った結果,提案手法の有効性が実証された。 コードはhttps://github.com/seunghan96/SOR-Mambaで入手できる。

関連論文リスト

• NIMBA: Towards Robust and Principled Processing of Point Clouds With SSMs [9.978766637766373]
  データ複製を必要とせずに3次元空間構造を維持できる点雲を1次元配列に変換する手法を提案する。 本手法では位置埋め込みは必要とせず, 精度を保ちながら短いシーケンス長が可能である。
  論文  参考訳（メタデータ） (2024-10-31T18:58:40Z)
• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting [12.08746904573603]
  選択状態空間モデル(SSM)に基づくMambaは、Transformerの競合相手として登場した。 我々は4つの改善点を提案し、MambaTSに導いた。 8つの公開データセットで実施された実験は、MambaTSが新しい最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-05-26T05:50:17Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Reverse Ordering Techniques for Attention-Based Channel Prediction [11.630651920572221]
  本研究の目的は,ノイズ観測に基づく無線通信システムにおけるチャネルの予測である。 モデルは自然言語処理から適応し、チャネル予測の複雑な課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-01T09:53:57Z)
• Sampling in Dirichlet Process Mixture Models for Clustering Streaming Data [5.660207256468972]
  Dirichlet Process Mixture Model (DPMM)は、ストリーミングデータケースにとって自然な選択である。 オンラインDPMM推論のための既存の手法は、高速なデータストリームを扱うには遅すぎる。 本稿では,DPMMとDPMMサンプリングに基づくストリーミングデータクラスタリングのための非ストリーミング推論手法を提案する。
  論文  参考訳（メタデータ） (2022-02-27T08:51:50Z)
• Continuous-Time Sequential Recommendation with Temporal Graph Collaborative Transformer [69.0621959845251]
  本稿では,定義した連続時間二部グラフ上での時間グラフシーケンスレコメンダ(TGSRec)を提案する。 TCTレイヤは、ユーザとアイテムの両方からの協調的な信号を同時にキャプチャすると同時に、シーケンシャルパターン内の時間的ダイナミクスも考慮する。 5つのデータセットの実証結果は、TGSRecが他のベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-14T22:50:53Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Composably secure data processing for Gaussian-modulated continuous variable quantum key distribution [58.720142291102135]
  連続可変量子鍵分布(QKD)は、ボソニックモードの二次構造を用いて、2つのリモートパーティ間の秘密鍵を確立する。 構成可能な有限サイズセキュリティの一般的な設定におけるホモダイン検出プロトコルについて検討する。 特に、ハイレート(非バイナリ)の低密度パリティチェックコードを使用する必要のあるハイシグネチャ・ツー・ノイズ・システマを解析する。
  論文  参考訳（メタデータ） (2021-03-30T18:02:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。