論文の概要: CauKer: classification time series foundation models can be pretrained on synthetic data only
- arxiv url: http://arxiv.org/abs/2508.02879v1
- Date: Mon, 04 Aug 2025 20:18:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-06 18:18:55.670519
- Title: CauKer: classification time series foundation models can be pretrained on synthetic data only
- Title（参考訳）: CauKer: 分類時系列基礎モデルは、合成データのみに基づいて事前訓練できる
- Authors: Shifeng Xie, Vasilii Feofanov, Marius Alonso, Ambroise Odonnat, Jianfeng Zhang, Themis Palpanas, Ievgen Redko,
- Abstract要約: CauKerは、現実的な傾向、季節性、非線形相互作用を持つ多様で因果的に一貫性のある合成時系列を生成するように設計されている。
実験の結果,CauKerの生成したデータセットは,データセットサイズ(10Kから10Mサンプル)とモデルキャパシティ(1Mから783Mパラメータ)の両方に対して明確なスケーリング則を示すことがわかった。
- 参考スコア（独自算出の注目度）: 19.43041847803551
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Time series foundation models (TSFMs) have recently gained significant attention due to their strong zero-shot capabilities and widespread real-world applications. Such models typically require a computationally costly pretraining on large-scale, carefully curated collections of real-world sequences. To allow for a sample-efficient pretraining of TSFMs, we propose CauKer, a novel algorithm designed to generate diverse, causally coherent synthetic time series with realistic trends, seasonality, and nonlinear interactions. CauKer combines Gaussian Process (GP) kernel composition with Structural Causal Models (SCM) to produce data for sample-efficient pretraining of state-of-the-art classification TSFMs having different architectures and following different pretraining approaches. Additionally, our experiments reveal that CauKer-generated datasets exhibit clear scaling laws for both dataset size (10K to 10M samples) and model capacity (1M to 783M parameters), unlike real-world datasets, which display irregular scaling behavior.
- Abstract（参考訳）: 時系列ファウンデーションモデル(TSFM)は、その強力なゼロショット機能と広範囲の現実世界の応用により、近年大きな注目を集めている。
このようなモデルは通常、大規模で慎重にキュレートされた実世界のシーケンスのコレクションで計算的にコストがかかる事前訓練を必要とする。
TSFMのサンプル効率向上のために,現実的傾向,季節性,非線形相互作用を有する多種多様で因果一貫性のある合成時系列を生成するためのアルゴリズムであるCauKerを提案する。
CauKerは、Gaussian Process (GP)カーネル合成とStructure Causal Models (SCM)を組み合わせて、異なるアーキテクチャと異なる事前訓練アプローチを持つ最先端分類TSFMのサンプル効率の高い事前訓練のためのデータを生成する。
さらに、我々の実験では、CauKer生成データセットはデータセットサイズ(10Kから10Mサンプル)とモデルキャパシティ(1Mから783Mパラメータ)の両方に明確なスケーリング則を示しており、実際のデータセットとは異なり、不規則なスケーリング挙動を示す。
関連論文リスト
- Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。
本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。
経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
論文 参考訳（メタデータ） (2025-06-20T00:17:14Z) - PTMs-TSCIL Pre-Trained Models Based Class-Incremental Learning [7.784244204592032]
時系列データのためのクラスインクリメンタルラーニング(CIL)は、新たな知識獲得のための破滅的な忘れと可塑性に対する安定性のバランスをとる上で、課題に直面している。
PTMを用いた時系列クラスインクリメンタルラーニング(TSCIL)の第1回研究について紹介する。
論文 参考訳（メタデータ） (2025-03-10T10:27:21Z) - Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。
既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。
本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
論文 参考訳（メタデータ） (2024-11-24T04:56:45Z) - Amortized Inference of Causal Models via Conditional Fixed-Point Iterations [17.427722515310606]
本研究では,異なるSCMからサンプリングした複数のデータセットに対して,単一モデルをトレーニングすることにより,構造因果モデル(SCM)の補正推定を提案する。
まず、まず、データセット埋め込みのアモータイズ学習にトランスフォーマーベースのアーキテクチャを使用し、次にFixed-Point Approach(FiP)を拡張して、データセット埋め込みに条件付きSCMを推論する。
副産物として,本手法はパラメータを更新することなく,新しいSCMから観測データや介入データを生成することができる。
論文 参考訳（メタデータ） (2024-10-08T15:31:33Z) - No "Zero-Shot" Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance [68.18779562801762]
マルチモーダルモデルは、下流の"ゼロショット"のパフォーマンスを線形改善するために、指数関数的に多くのデータを必要とする。
本研究は,大規模な訓練パラダイムの下での「ゼロショット」一般化能力の鍵となる訓練データに対する指数関数的要求を明らかにする。
論文 参考訳（メタデータ） (2024-04-04T17:58:02Z) - MADS: Modulated Auto-Decoding SIREN for time series imputation [9.673093148930874]
我々は,暗黙のニューラル表現に基づく時系列計算のための新しい自動デコードフレームワークMADSを提案する。
実世界の2つのデータセット上で本モデルを評価し,時系列計算における最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-03T09:08:47Z) - Continuous-time convolutions model of event sequences [46.3471121117337]
イベントシーケンスは不均一でスパースであり、従来のモデルは不適当である。
我々は、時間とともに一様でない事象の発生を処理するために設計された効率的な畳み込みニューラルネットワークに基づくCOTICを提案する。
COTICは、次のイベント時間とタイプを予測する際に既存のモデルよりも優れており、最も近いライバルの3.714と比較して平均1.5のランクに達している。
論文 参考訳（メタデータ） (2023-02-13T10:34:51Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳（メタデータ） (2022-10-05T09:17:27Z) - Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression [17.158289775348063]
カーネル化されたテンソル回帰(BKTR)は、低ランクの時間構造を持つモデリングプロセスに対する新しいスケーラブルなアプローチと考えられる。
そこで本研究では,BKTRのモデル推定と推定において,BKTRの優れた性能と効率性を確認した。
論文 参考訳（メタデータ） (2021-08-31T19:22:23Z) - Global Models for Time Series Forecasting: A Simulation Study [2.580765958706854]
自動回帰(AR)や季節ARのような単純なデータ生成プロセス(DGP)からカオスロジスティックマップ、自己興奮型閾値自動回帰、マッキーグラス方程式といった複雑なDGPまで、時系列をシミュレートする。
データセットの長さと系列数は、さまざまなシナリオで変化します。
我々はこれらのデータセットに対して,Recurrent Neural Networks (RNN), Feed-Forward Neural Networks, Pooled Regression (PR) Model, Light Gradient Boosting Models (LGBM)などの大域的予測モデルを用いて実験を行った。
論文 参考訳（メタデータ） (2020-12-23T04:45:52Z) - The Effectiveness of Discretization in Forecasting: An Empirical Study
on Neural Time Series Models [15.281725756608981]
ニューラル予測アーキテクチャの予測性能に及ぼすデータ入力および出力変換の影響について検討する。
バイナリ化は実値入力の正規化に比べてほぼ常に性能が向上することがわかった。
論文 参考訳（メタデータ） (2020-05-20T15:09:28Z) - A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。
基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
論文 参考訳（メタデータ） (2020-02-21T23:10:50Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。