論文の概要: Distillation of Synthetic Data for Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2609.09586v2
• Date: Mon, 14 Sep 2026 07:27:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:04.763505
• Title: Distillation of Synthetic Data for Time Series Foundation Models
• Title（参考訳）: 時系列基礎モデルのための合成データの蒸留
• Abstract要約: TSFM出力と各軌道の条件予測分布を比較した損失目標を提案する。 我々は、TSFMモデルファミリーサイズを4Mから2.5Bのパラメータで実証的に検証し、各モデルサイズでの検証損失の高速収束を観察する。
• 参考スコア（独自算出の注目度）: 0.9238700679836854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time series foundation models (TSFMs) are increasingly pre-trained on synthetically generated time series trajectories, where the data generating process is known. Current pre-training recipes are based on loss objectives which compare TSFM outputs to realized future values of each trajectory. We instead propose loss objectives which compare TSFM outputs to the conditional forecast distribution of each trajectory, a procedure we call synthetic data distillation (SDD). SDD corresponds to a Rao-Blackwellization of the training objective, in that it leaves the expectation of stochastic gradients unchanged while provably reducing the covariance of the stochastic gradient under the Loewner partial ordering. We empirically validate SDD on a TSFM model family of sizes from $4$M to $2.5$B parameters, and observe faster convergence of validation loss at every model size: on Gaussian Process data, SDD attains or improves upon the Status Quo loss whilst requiring $10\%-40\%$ less training iterations.
• Abstract（参考訳）: 時系列基礎モデル(TSFM)は、データ生成プロセスが知られている合成時系列トラジェクトリで事前訓練される傾向にある。 現在の事前学習レシピは、TSFM出力と各軌道の将来の値とを比較した損失目標に基づいている。 その代わりに、TSFM出力と各軌道の条件予測分布を比較する損失目標を提案し、これを合成データ蒸留(SDD)と呼ぶ。 SDDは、ローナー部分順序の下での確率勾配の共分散を確実に減少させながら、確率勾配の期待を変化させるという、訓練目的のラオ・ブラックウェル化に対応する。 私たちは、SDDを4Mから2.5BのパラメータのTSFMモデルファミリで実証的に検証し、各モデルサイズでの検証損失のより早い収束を観察します。

関連論文リスト

• A Time-Reparameterized Cumulative Intensity Extrapolation Sampler for Discrete Flow Matching [25.54630601391996]
  TR-CIEは,機能評価の制限によるサンプリング品質の向上を目的としている。 累積強度の局所近似誤差を限定する理論解析を行う。 合成タスク,テキスト生成,テキスト・ツー・イメージのベンチマーク実験により,本手法は限られたNFE下でのサンプリング品質の向上を実証した。
  論文  参考訳（メタデータ） (2026-06-23T04:48:45Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• OATS: Online Data Augmentation for Time Series Foundation Models [49.1394215208561]
  時系列基礎モデル(TSFM)は時間分析の強力なパラダイムであり、しばしばデータ品質を向上させるために合成データ拡張によって強化される。 OATS (Online Data Augmentation for Time Series Foundation Models) は、異なるトレーニング手順に合わせて合成データを生成する基本戦略である。
  論文  参考訳（メタデータ） (2026-01-26T23:51:03Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
  FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。 非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。 条件設定では、太陽予測において優れた性能を達成している。
  論文  参考訳（メタデータ） (2024-11-12T03:03:23Z)
• DiffPuter: Empowering Diffusion Models for Missing Data Imputation [56.48119008663155]
  本稿ではDiffPuterについて紹介する。DiffPuterは、データ計算の欠如に対する期待最大化(EM)アルゴリズムと組み合わせた、カスタマイズされた拡散モデルである。 我々の理論的解析は、DiffPuterのトレーニングステップがデータ密度の最大推定値に対応することを示している。 DiffPuterは,最も競争力のある既存手法と比較して,MAEが6.94%,RMSEが4.78%向上した。
  論文  参考訳（メタデータ） (2024-05-31T08:35:56Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Improved Techniques for Training Consistency Models [13.475711217989975]
  本稿では, 蒸留なしでデータから直接一貫性モデルを学習する, 整合性トレーニングのための改良手法を提案する。 整合性学習目的のための対数正規雑音スケジュールを提案し、トレーニングの繰り返し回数毎に全離散化ステップを2倍にすることを提案する。 これらの修正により、一貫性モデルは1回のサンプリングステップでCIFAR-10で2.51と3.25のFIDスコア、ImageNetで64ドルをそれぞれ達成できる。
  論文  参考訳（メタデータ） (2023-10-22T05:33:38Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。