論文の概要: Turning TS2Vec into a Foundation Model for Time Series Classification

• arxiv url: http://arxiv.org/abs/2610.28602v1
• Date: Tue, 20 Oct 2026 17:47:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.958014
• Title: Turning TS2Vec into a Foundation Model for Time Series Classification
• Title（参考訳）: TS2Vecを時系列分類の基礎モデルに変える
• Abstract要約: TS2Vecは2022年に導入された最強の時系列分類法の一つである。 TS2Vecは、時間サンプルを直接操作するコンパクトな畳み込みアーキテクチャを提供する。 TS2Vecは基本的に基礎モデルに変換可能であることを示す。
• 参考スコア（独自算出の注目度）: 17.109789377447328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: TS2Vec is one of the strongest self-supervised methods for time series classification, introduced in 2022. It is designed to be trained anew on every dataset: self-supervised pre-training followed by linear probing. Since then, the field has shifted towards foundation models that reuse one encoder across datasets. Yet TS2Vec offers a compact convolutional architecture that operates directly on temporal samples and accepts variable-length inputs without resampling. We ask whether these properties can be retained when the encoder is pre-trained only once, and show that they can: TS2Vec can essentially be turned into a foundation model. Three changes suffice: pre-train on a synthetic corpus, feed the encoder a raw amplitude view and an instance-normalized shape view of the input through two small stems, and distill one specialist encoder per view into a single encoder. The result, TS2Vec-FM, is a 1.6M-parameter dilated convolutional network that, kept frozen, reaches 83.3% on UCR-128 and 75.3% on UEA-27 under linear probing, within 0.3 pp of MantisV2, the current state of the art, and above TS2Vec trained separately on each target dataset. What we find most interesting is how different TS2Vec-FM is from other foundation models in design: near-parity is reached without attention, without a patch tokenizer, and without intermediate-layer extraction, using an "old-school" convolutional encoder and a two-layer MLP stem.
• Abstract（参考訳）: TS2Vecは2022年に導入された最強の時系列分類法の一つである。 自己教師付き事前トレーニングと線形探索という,すべてのデータセットで新たにトレーニングされるように設計されている。 それ以来、フィールドはデータセットをまたいだ1つのエンコーダを再利用する基礎モデルへと移行してきた。 しかしTS2Vecは、時間的サンプルを直接操作し、再サンプリングなしで可変長入力を受け入れる、コンパクトな畳み込みアーキテクチャを提供する。 エンコーダが一度だけ事前トレーニングされたときに、これらのプロパティを保持できるかどうかを問うとともに、それらが可能であることを示す。 3つの変更は、合成コーパス上で事前トレーニングを行い、エンコーダに生の振幅ビューと2つの小さな茎を通して入力のインスタンス正規化された形状ビューを与え、ビューごとに1つの専門エンコーダを1つのエンコーダに蒸留する。 その結果、TS2Vec-FMは1.6Mパラメトリック拡張畳み込みネットワークとなり、凍結保存され、UCR-128で83.3%、UEA-27で75.3%に達する。 最も興味深いのは、TS2Vec-FMが、他の基礎モデルとどのように異なるかである: ニアパリティは、注意なく、パッチトークンライザなしで、中間層抽出なしで、"旧式の"畳み込みエンコーダと2層MLPステムを使用して到達する。

関連論文リスト

• Efficient Transformer Encoders for Mask2Former-style models [57.54752243522298]
  ECO-M2Fは、入力画像上に条件付きエンコーダ内の隠蔽層数を自己選択する戦略である。 提案手法は、性能を維持しながら、予測エンコーダの計算コストを削減する。 アーキテクチャ構成では柔軟性があり、セグメンテーションタスクを超えてオブジェクト検出まで拡張できる。
  論文  参考訳（メタデータ） (2024-04-23T17:26:34Z)
• WinNet: Make Only One Convolutional Layer Effective for Time Series Forecasting [11.232780368635416]
  我々は、WinNetと呼ばれる1つの畳み込み層しか持たない非常に正確で単純なCNNベースのモデルを提案する。 その結果、WinNetは、CNNベースのメソッドよりもSOTA性能と複雑さが低いことを実証した。
  論文  参考訳（メタデータ） (2023-11-01T01:23:59Z)
• MatFormer: Nested Transformer for Elastic Inference [91.45687988953435]
  MatFormerは、多様なデプロイメント制約にまたがる弾性推論を提供するように設計された、新しいTransformerアーキテクチャである。 MatFormerは、標準的なTransformerモデルにネストフィードフォワードネットワーク(FFN)ブロック構造を組み込むことで、これを実現している。 8億5000万デコーダのみのMatFormer言語モデル(MatLM)により,5億2200万から8億5千万のパラメータにまたがる複数の小さなモデルを抽出できることを示す。
  論文  参考訳（メタデータ） (2023-10-11T17:57:14Z)
• Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling [23.164631160130092]
  BERT型事前学習(仮面画像モデリング)の成功を畳み込みネットワーク(畳み込みネットワーク)に拡張する。 我々は、3次元点雲のスパースボクセルとして非マス化画素を扱い、スパース畳み込みを用いてエンコードする。 これは2次元マスクモデリングにおけるスパース畳み込みの最初の使用である。
  論文  参考訳（メタデータ） (2023-01-09T18:59:50Z)
• Point-M2AE: Multi-scale Masked Autoencoders for Hierarchical Point Cloud Pre-training [56.81809311892475]
  Masked Autoencoders (MAE) は、言語と2次元画像変換器の自己教師付き事前学習において大きな可能性を示している。 我々は3次元点雲の階層的自己教師型学習のための強力なマルチスケールMAE事前学習フレームワークであるPoint-M2AEを提案する。
  論文  参考訳（メタデータ） (2022-05-28T11:22:53Z)
• Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
  我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。 焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。 スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-04-26T17:34:10Z)
• On-demand compute reduction with stochastic wav2vec 2.0 [63.22845151306881]
  本稿では、wav2vec 2.0(W2V2)モデルに対するオンデマンドの計算量削減のための圧縮を提案する。 960hのLibrispeechデータセットで事前学習し、10hの転写データに微調整を行った結果,同じモデルを用いて単語誤り率(WER)と推測時間とのスムーズなトレードオフが得られた。
  論文  参考訳（メタデータ） (2022-04-25T19:25:46Z)
• P-STMO: Pre-Trained Spatial Temporal Many-to-One Model for 3D Human Pose Estimation [78.83305967085413]
  本稿では,2次元から3次元のポーズ推定作業のためのP-STMOモデルを提案する。 提案手法は,パラメータが少なく,計算オーバーヘッドが少なく,最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-03-15T04:00:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。