論文の概要: Tabby: An Open Pretraining Recipe for Time Series Foundation Models
- arxiv url: http://arxiv.org/abs/2609.13956v1
- Date: Sat, 12 Sep 2026 13:58:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.62596
- Title: Tabby: An Open Pretraining Recipe for Time Series Foundation Models
- Title(参考訳): Tabby: 時系列ファウンデーションモデルのオープンプレトレーニング
- Abstract要約: Tabbyは長期のコンテキスト確率的時系列基盤モデルである。
エンコーダのみのパッチTransformerアーキテクチャを採用し、データとトレーニング手順へのコントリビューションに集中する。
私たちはhuawei-noah/trustworthyAIでトレーニングパイプラインとモデルをオープンソースとしてリリースしています。
- 参考スコア(独自算出の注目度): 36.79272249788465
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this report, we release Tabby, a long context probabilistic time series foundation model, together with a complete and open recipe of how it was built. Tabby adopts an encoder-only patch Transformer architecture and concentrates the contributions on the data and the training procedure. The pretraining corpus combines an extended real-world collection, GIFT-Eval-Pretrain+ and BLAST, with synthetic data from KernelSynth and CauKerV2, an online generator that composes temporal dynamics through randomly sampled structural causal models. Training couples a progressive convergence schedule, which yields reusable intermediate checkpoints, with a deep quantile supervision objective for intermediate layers. The resulting 145M parameter backbone supports contexts of up to 8,192 observations and serves forecasting, classification, and anomaly detection, while a prompt-tuning module further improves in-distribution forecasting performance with the pretrained weights frozen. Tabby achieves competitive zero-shot forecasting performance on GIFT-Eval and the out-of-distribution TIME benchmark, while the same pretrained backbone also supports classification on the UCR Archive and zero-shot anomaly detection on TSB-AD-U. We release training pipeline and model as open source at huawei-noah/trustworthyAI.
- Abstract(参考訳): 本稿では,Tabbyについて述べる。Tabbyは長期の文脈確率的時系列基盤モデルであり,構築方法の完全かつオープンなレシピである。
Tabbyは、エンコーダのみのパッチTransformerアーキテクチャを採用し、データとトレーニング手順へのコントリビューションに集中する。
事前学習コーパスは、拡張現実世界のコレクションであるGIFT-Eval-Pretrain+とBLASTと、ランダムにサンプリングされた構造因果モデルを通して時間ダイナミクスを構成するオンラインジェネレータであるKernelSynthとCauKerV2の合成データを組み合わせる。
トレーニングは、再利用可能な中間チェックポイントを生成するプログレッシブコンバージェンススケジュールと、中間層に対する深い量的監督の目的を結合する。
結果として得られた145Mパラメータのバックボーンは、最大8,192の観測コンテキストをサポートし、予測、分類、異常検出を行う。
Tabby は GIFT-Eval とout-of-distriion TIME ベンチマークで競合するゼロショット予測性能を達成し、同じ事前トレーニングされたバックボーンは UCR Archive の分類や TSB-AD-U のゼロショット異常検出もサポートしている。
私たちはhuawei-noah/trustworthyAIでトレーニングパイプラインとモデルをオープンソースとしてリリースしています。
関連論文リスト
- Beyond Extrapolation: Knowledge Utilization Paradigm with Bidirectional Inspiration for Time Series Forecasting [81.44658512649633]
KUP-BIは、エンファントレインのみの歴史図書館から継続スタイルの知識を抽出する新しい時系列モデリングパラダイムである。
最新モデルの予測性能を継続的に改善し、オーバーヘッドを小さくする。
論文 参考訳(メタデータ) (2026-05-19T01:43:00Z) - Latent Chain-of-Thought Improves Structured-Data Transformers [26.742304109602614]
本稿では,遅延連鎖と,構造データに対する深さとループの影響について検討する。
我々は、潜在チェーン・オブ・シントが構造化データに対するテスト時間計算のスケーリングに有用な軸であることを示している。
論文 参考訳(メタデータ) (2026-05-11T21:41:21Z) - Inference-Time Refinement Closes the Synthetic-Real Gap in Tabular Diffusion [8.745106905496282]
凍結したトレーニング済みのバックボーン上で動作可能な推論時間改善フレームワークを提案する。
推論時間の改善は、1つのコンシューマグレードのGPU上で1~80分でリアルタイムユーティリティを超えます。
論文 参考訳(メタデータ) (2026-05-07T13:37:03Z) - Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling [51.78972657142583]
我々は、Timer-S1、強力なMixture-of-Experts(MoE)時系列基礎モデル、合計8.3Bのパラメータ、各トークンの0.75Bのアクティブパラメータ、コンテキスト長11.5Kについて紹介する。
既存のトレーニング済み時系列基盤モデルのスケーラビリティボトルネックを克服するため,シリアルスケーリングを3次元で実施する。
論文 参考訳(メタデータ) (2026-03-05T04:13:57Z) - Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。
微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。
モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
論文 参考訳(メタデータ) (2025-09-28T07:07:13Z) - Zero-shot Meta-learning for Tabular Prediction Tasks with Adversarially Pre-trained Transformer [2.1677183904102257]
本稿では、実世界のデータセットを事前学習することなく、表形式の予測タスクでゼロショットメタ学習を行うことのできるAdversarially Pre-trained Transformer(APT)を提案する。
APTは、異なる合成データセットで意図的にモデルに挑戦する敵対的な合成データエージェントで事前訓練されている。
筆者らのフレームワークは,データセットの特徴をフィルタリングすることなく,小さな分類タスクにおける最先端のパフォーマンスと一致していることを示す。
論文 参考訳(メタデータ) (2025-02-06T23:58:11Z) - Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。
提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
論文 参考訳(メタデータ) (2024-12-06T18:22:59Z) - Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。
先行した合成データセットのベイズ推定を近似することを学ぶ。
精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
論文 参考訳(メタデータ) (2024-11-15T23:49:23Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳(メタデータ) (2024-02-04T13:10:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。