論文の概要: TiCT: A Synthetically Pre-Trained Foundation Model for Time Series Classification

• arxiv url: http://arxiv.org/abs/2511.19694v1
• Date: Mon, 24 Nov 2025 20:57:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.156681
• Title: TiCT: A Synthetically Pre-Trained Foundation Model for Time Series Classification
• Title（参考訳）: TiCT: 時系列分類のための合成事前学習基盤モデル
• Authors: Chin-Chia Michael Yeh, Uday Singh Saini, Junpeng Wang, Xin Dai, Xiran Fan, Jiarui Sun, Yujie Fan, Yan Zheng,
• Abstract要約: テキスト内分類を行うために合成データのみに事前訓練したトランスフォーマーベースモデルであるTiCTを紹介する。 TiCTは最先端の教師付き手法と競合する性能を発揮する。
• 参考スコア（独自算出の注目度）: 24.157185193971856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ubiquity of time series data creates a strong demand for general-purpose foundation models, yet developing them for classification remains a significant challenge, largely due to the high cost of labeled data. Foundation models capable of in-context learning (ICL) offer a powerful solution, adapting to new tasks with minimal examples and reducing the need for extensive retraining. However, prior work on large-scale time series models has predominantly focused on forecasting, leaving a critical gap for versatile, fine-tuning-free classification. To address this, we introduce TiCT (Time-series in-Context Transformer), a transformer-based model pre-trained exclusively on synthetic data to perform in-context classification. We make two primary technical contributions: 1) a novel architecture featuring a scalable bit-based label encoding and a special output attention mechanism to handle an arbitrary number of classes; and 2) a synthetic pre-training framework that combines a Mixup-inspired process with data augmentation to foster generalization and noise invariance. Extensive evaluations on the UCR Archive show that TiCT achieves competitive performance against state-of-the-art supervised methods. Crucially, this is accomplished using only in-context examples at inference time, without updating a single model weight.
• Abstract（参考訳）: 時系列データの多様さは、汎用基盤モデルに強い需要をもたらすが、ラベル付きデータの高コストのため、それらを分類するための開発は依然として大きな課題である。 インコンテキスト学習(ICL)が可能な基礎モデルは強力なソリューションを提供し、最小限の例で新しいタスクに適応し、広範な再トレーニングの必要性を減らす。 しかし、大規模な時系列モデルに関する先行研究は、主に予測に焦点を当てており、多目的で微調整不要な分類にとって重要なギャップを残している。 そこで本研究では,TCT(Time-Series in-Context Transformer)を導入した。 主な技術貢献は2つあります。 1)スケーラブルなビットベースのラベルエンコーディングと任意の数のクラスを扱うための特別な出力アテンション機構を備えた新しいアーキテクチャ。 2)Mixupにインスパイアされたプロセスとデータ拡張を組み合わせることで,一般化とノイズの分散を促進する合成事前学習フレームワーク。 UCRアーカイブでの広範囲な評価は、TiCTが最先端の教師付き手法と競合する性能を達成していることを示している。 重要なことに、これは単一のモデルの重みを更新することなく、推論時にコンテキスト内例のみを使用して達成される。

関連論文リスト

• Model Inversion with Layer-Specific Modeling and Alignment for Data-Free Continual Learning [19.12792297140574]
  継続的な学習は、以前のタスクのパフォーマンスを維持しながら、一連のタスクでモデルを漸進的にトレーニングすることを目的としています。 データの保存と再生は、プライバシやセキュリティ上の制約によって不可能になることが多い。 単層最適化における高速収束にインスパイアされたPMI(Per-layer Model Inversion)を提案する。
  論文  参考訳（メタデータ） (2025-10-30T09:58:48Z)
• Scaling Transformer-Based Novel View Synthesis Models with Token Disentanglement and Synthetic Data [53.040873127309766]
  本稿では,トランスアーキテクチャ内でのトークンのアンタングル化プロセスを提案し,特徴分離を向上し,より効果的な学習を実現する。 提案手法は,データセット内およびデータセット間の評価において,既存のモデルよりも優れる。
  論文  参考訳（メタデータ） (2025-09-08T17:58:06Z)
• RoFt-Mol: Benchmarking Robust Fine-Tuning with Molecular Graph Foundation Models [15.62650736139546]
  本研究では,8つのファインチューニング手法を,ウェイトベース,表現ベース,部分的なファインチューニングの3つのメカニズムに分類する。 各種ラベル設定における教師付きおよび自己教師付き事前学習モデルの下流回帰および分類タスクについて,これらの手法をベンチマークした。 この評価は有用な洞察を与え、洗練された頑健な微調整法であるROFT-MOLの設計を通知する。
  論文  参考訳（メタデータ） (2025-08-30T21:35:57Z)
• Measuring Pre-training Data Quality without Labels for Time Series Foundation Models [10.64362760848387]
  基礎モデルで学習した表現空間の質を評価するための新しい尺度であるコントラスト精度を導入する。 実験の結果,提案手法とモデル精度との正の相関関係を下流タスクの集合上で明らかにした。
  論文  参考訳（メタデータ） (2024-12-09T10:38:30Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。