論文の概要: Mantis: Lightweight Calibrated Foundation Model for User-Friendly Time Series Classification

• arxiv url: http://arxiv.org/abs/2502.15637v1
• Date: Fri, 21 Feb 2025 18:06:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:45.817401
• Title: Mantis: Lightweight Calibrated Foundation Model for User-Friendly Time Series Classification
• Title（参考訳）: Mantis: ユーザフレンドリーな時系列分類のための軽量キャリブレーション基礎モデル
• Authors: Vasilii Feofanov, Songkang Wen, Marius Alonso, Romain Ilbert, Hongbo Guo, Malik Tiomoko, Lujia Pan, Jianfeng Zhang, Ievgen Redko,
• Abstract要約: 我々は、Vision Transformerアーキテクチャに基づく時系列分類のための新しいオープンソース基盤モデルであるMantisを紹介する。 実験の結果,マンティスは背骨凍結時と微調整時の両方で既存の基礎モデルより優れていた。
• 参考スコア（独自算出の注目度）: 16.738168952631735
• License:
• Abstract: In recent years, there has been increasing interest in developing foundation models for time series data that can generalize across diverse downstream tasks. While numerous forecasting-oriented foundation models have been introduced, there is a notable scarcity of models tailored for time series classification. To address this gap, we present Mantis, a new open-source foundation model for time series classification based on the Vision Transformer (ViT) architecture that has been pre-trained using a contrastive learning approach. Our experimental results show that Mantis outperforms existing foundation models both when the backbone is frozen and when fine-tuned, while achieving the lowest calibration error. In addition, we propose several adapters to handle the multivariate setting, reducing memory requirements and modeling channel interdependence.
• Abstract（参考訳）: 近年,様々な下流タスクにまたがって一般化可能な時系列データの基礎モデル開発への関心が高まっている。 予測指向基礎モデルが数多く導入されているが、時系列分類に適したモデルはほとんどない。 このギャップに対処するために、我々は、対照的な学習アプローチを用いて事前学習されたVit(ViT)アーキテクチャに基づいた、時系列分類のための新しいオープンソース基盤モデルであるMantisを紹介する。 実験結果から,マンティスは背骨凍結時と微調整時の両方で既存の基礎モデルより優れ,キャリブレーション誤差は低いことがわかった。 さらに,多変量設定を処理し,メモリ要求を低減し,チャネル相互依存性をモデル化するアダプタを提案する。

関連論文リスト

• Sundial: A Family of Highly Capable Time Series Foundation Models [64.6322079384575]
  Sundialはネイティブでフレキシブルでスケーラブルな時系列基盤モデルのファミリーです。 本モデルでは,事前分布を指定せずに事前学習を行い,複数の予測予測を生成できる。 TimeFlow Loss を通じてモード崩壊を緩和することにより、TimeBench 上で Sundial モデルのファミリーを事前訓練し、前例のないモデルキャパシティと一般化性能を示す。
  論文  参考訳（メタデータ） (2025-02-02T14:52:50Z)
• Measuring Pre-training Data Quality without Labels for Time Series Foundation Models [10.64362760848387]
  基礎モデルで学習した表現空間の質を評価するための新しい尺度であるコントラスト精度を導入する。 実験の結果,提案手法とモデル精度との正の相関関係を下流タスクの集合上で明らかにした。
  論文  参考訳（メタデータ） (2024-12-09T10:38:30Z)
• Generalized Prompt Tuning: Adapting Frozen Univariate Time Series Foundation Models for Multivariate Healthcare Time Series [3.9599054392856483]
  時系列基礎モデルは、大規模なデータセットで事前訓練され、様々なタスクで最先端のパフォーマンスを達成することができる。 我々は、既存の単変量時系列基礎モデルに適応できる、素早いチューニングインスパイアされた微調整技術Gen-P-Tuningを提案する。 2つのMIMIC分類課題とインフルエンザ様疾患予測における各種ベースラインに対する微調整アプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2024-11-19T19:20:58Z)
• A Mamba Foundation Model for Time Series Forecasting [13.593170999506889]
  本稿では,マンバアーキテクチャ上に構築された時系列予測のための線形複雑基盤モデルであるTSMambaを紹介する。 このモデルは、前方および後方のMambaエンコーダを通して時間的依存関係をキャプチャし、高い予測精度を達成する。 また、タスク固有の予測モデルと比較して、競争力や優れたフルショットパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-11-05T09:34:05Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• Predictive Modeling in the Reservoir Kernel Motif Space [0.9217021281095907]
  本研究では,線形貯水池のカーネルビューに基づく時系列予測手法を提案する。 我々は、我々のアプローチがコア貯水池モデルとどのように関係しているかについての光を遮蔽するアプローチの幾何学的解釈を提供する。 実験では,提案モデルの予測性能と最近の最先端変圧器モデルとの比較を行った。
  論文  参考訳（メタデータ） (2024-05-11T16:12:25Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。