論文の概要: Repetitive Contrastive Learning Enhances Mamba's Selectivity in Time Series Prediction

• arxiv url: http://arxiv.org/abs/2504.09185v1
• Date: Sat, 12 Apr 2025 11:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:54:29.912695
• Title: Repetitive Contrastive Learning Enhances Mamba's Selectivity in Time Series Prediction
• Title（参考訳）: 反復的コントラスト学習は, 時系列予測におけるマンバの選択性を高める
• Authors: Wenbo Yan, Hanzhong Cao, Ying Tan,
• Abstract要約: 本稿では,マンバの選択能力向上を目的としたトークンレベルのコントラスト事前学習フレームワークである反復コントラスト学習(RCL)を紹介する。 RCLは選択能力を高めるために単一のマンバブロックを事前訓練し、これらの事前訓練されたパラメータを様々なバックボーンモデルでマンバブロックを初期化するために転送する。 大規模な実験により、RCLはバックボーンモデルの性能を継続的に向上し、既存の手法を超越し、最先端の結果を達成することが示されている。
• 参考スコア（独自算出の注目度）: 1.6590638305972631
• License:
• Abstract: Long sequence prediction is a key challenge in time series forecasting. While Mamba-based models have shown strong performance due to their sequence selection capabilities, they still struggle with insufficient focus on critical time steps and incomplete noise suppression, caused by limited selective abilities. To address this, we introduce Repetitive Contrastive Learning (RCL), a token-level contrastive pretraining framework aimed at enhancing Mamba's selective capabilities. RCL pretrains a single Mamba block to strengthen its selective abilities and then transfers these pretrained parameters to initialize Mamba blocks in various backbone models, improving their temporal prediction performance. RCL uses sequence augmentation with Gaussian noise and applies inter-sequence and intra-sequence contrastive learning to help the Mamba module prioritize information-rich time steps while ignoring noisy ones. Extensive experiments show that RCL consistently boosts the performance of backbone models, surpassing existing methods and achieving state-of-the-art results. Additionally, we propose two metrics to quantify Mamba's selective capabilities, providing theoretical, qualitative, and quantitative evidence for the improvements brought by RCL.
• Abstract（参考訳）: 時系列予測は時系列予測において重要な課題である。 マンバをベースとしたモデルは、シーケンス選択能力のために強い性能を示してきたが、限られた選択能力によって引き起こされる臨界時間ステップと不完全なノイズ抑制に焦点を絞ることに苦慮している。 そこで本稿では,Mambaの選択能力向上を目的としたトークンレベルのコントラスト事前学習フレームワークであるRepetitive Contrastive Learning (RCL)を紹介する。 RCLは、選択能力を高めるために単一のマンバブロックを事前訓練し、これらの事前訓練されたパラメータを、様々なバックボーンモデルでマンバブロックを初期化するために転送し、時間的予測性能を向上させる。 RCLはガウスノイズによるシーケンス拡張を使用し、シーケンス間およびシーケンス内コントラスト学習を適用して、マムバモジュールがノイズを無視しながら情報豊富な時間ステップを優先順位付けするのに役立つ。 大規模な実験により、RCLはバックボーンモデルの性能を継続的に向上し、既存の手法を超越し、最先端の結果を達成することが示されている。 さらに,マンバの選択的能力の定量化のための2つの指標を提案し,RCLによる改善の理論的,質的,定量的な証拠を提供する。

関連論文リスト

• Learning Mamba as a Continual Learner: Meta-learning Selective State Space Models for Efficient Continual Learning [12.697915176594314]
  継続学習(CL)は、すべてのサンプルを保存または再計算することなく、非定常データストリームから効率的に学習することを目的としている。 過去の表現を全て残さずに、メタラーニングシーケンスに基づく連続学習者に焦点を当てた。 Mambaの強いシーケンスモデリング性能と注意のない性質を考慮し、重要な疑問を探る: Mambaのような注意のないモデルは、メタ大陸学習でうまく機能するのか?
  論文  参考訳（メタデータ） (2024-12-01T11:43:46Z)
• Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
  継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。 ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。 大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
  論文  参考訳（メタデータ） (2024-11-23T06:36:16Z)
• A Mamba Foundation Model for Time Series Forecasting [13.593170999506889]
  本稿では,マンバアーキテクチャ上に構築された時系列予測のための線形複雑基盤モデルであるTSMambaを紹介する。 このモデルは、前方および後方のMambaエンコーダを通して時間的依存関係をキャプチャし、高い予測精度を達成する。 また、タスク固有の予測モデルと比較して、競争力や優れたフルショットパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-11-05T09:34:05Z)
• ReMamba: Equip Mamba with Effective Long-Sequence Modeling [50.530839868893786]
  本研究では,長い文脈の理解能力を高めるReMambaを提案する。 ReMambaは2段階のプロセスで選択的圧縮と適応のテクニックを取り入れている。
  論文  参考訳（メタデータ） (2024-08-28T02:47:27Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
  本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。 実世界の長距離NLPタスクに対する実験では、DeciMambaはトレーニング中に見られるものよりも、コンテキスト長に格段に長く当てはまることが示されている。
  論文  参考訳（メタデータ） (2024-06-20T17:40:18Z)
• MambaLRP: Explaining Selective State Space Sequence Models [18.133138020777295]
  選択状態空間列モデル(マンバモデルと呼ばれる)を用いた最近のシーケンスモデリング手法は、関心が高まりつつある。 これらのモデルは、線形時間における長いシーケンスの効率的な処理を可能にし、言語モデリングのような広範囲のアプリケーションで急速に採用されている。 現実のシナリオにおける信頼性の高い利用を促進するためには、透明性を高めることが重要です。
  論文  参考訳（メタデータ） (2024-06-11T12:15:47Z)
• MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in Computational Pathology [10.933433327636918]
  MIL(Multiple Instance Learning)は、WSI(Whole Slide Images)内の識別的特徴表現を計算病理学で抽出する主要なパラダイムとして登場した。 本稿では,線形複雑度を持つ長周期モデリングのために,Selective Scan Space State Sequential Model(Mamba)をMIL(Multiple Instance Learning)に組み込む。 提案するフレームワークは,最先端のMIL手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2024-03-11T15:17:25Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。