論文の概要: The Tabular Foundation Model TabPFN Outperforms Specialized Time Series Forecasting Models Based on Simple Features

• arxiv url: http://arxiv.org/abs/2501.02945v1
• Date: Mon, 06 Jan 2025 11:38:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:06:31.766734
• Title: The Tabular Foundation Model TabPFN Outperforms Specialized Time Series Forecasting Models Based on Simple Features
• Title（参考訳）: タブラルファウンデーションモデルTabPFNによる簡易特徴量に基づく特別時系列予測モデルの性能評価
• Authors: Shi Bin Hoo, Samuel Müller, David Salinas, Frank Hutter,
• Abstract要約: 本稿では,TabPFNと単純な特徴工学を組み合わせ,予測性能を高めるための簡単なアプローチであるTabPFN-TSを提案する。 その単純さとわずか1100万のパラメータにもかかわらず、TabPFN-TSは類似サイズのモデルであるChronos-Miniよりも優れており、65倍のパラメータを持つChronos-Largeよりもわずかに優れている。
• 参考スコア（独自算出の注目度）: 40.19199376033612
• License:
• Abstract: Foundation models have become popular in forecasting due to their ability to make accurate predictions, even with minimal fine-tuning on specific datasets. In this paper, we demonstrate how the newly released regression variant of TabPFN, a general tabular foundation model, can be applied to time series forecasting. We propose a straightforward approach, TabPFN-TS, which pairs TabPFN with simple feature engineering to achieve strong forecasting performance. Despite its simplicity and with only 11M parameters, TabPFN-TS outperforms Chronos-Mini, a model of similar size, and matches or even slightly outperforms Chronos-Large, which has 65-fold more parameters. A key strength of our method lies in its reliance solely on artificial data during pre-training, avoiding the need for large training datasets and eliminating the risk of benchmark contamination.
• Abstract（参考訳）: 特定のデータセットに最小限の微調整を施しても、正確な予測を行う能力があるため、ファンデーションモデルは予測に人気がある。 本稿では,TabPFNの一般表基盤モデルとして新たにリリースされた回帰変種が時系列予測にどのように適用できるかを示す。 本稿では,TabPFNと単純な特徴工学を組み合わせ,予測性能を高めるための簡単なアプローチであるTabPFN-TSを提案する。 その単純さとわずか1100万のパラメータにもかかわらず、TabPFN-TSは類似サイズのモデルであるChronos-Miniよりも優れており、65倍のパラメータを持つChronos-Largeよりもわずかに優れている。 本手法の重要な強みは,事前トレーニング中の人工データのみに依存すること,大規模なトレーニングデータセットの必要性を回避すること,ベンチマーク汚染のリスクを回避することにある。

関連論文リスト

• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters [16.966008476215258]
  本稿では,長期時系列予測(LTSF)のための新しい,極めて軽量なモデルであるSparseTSFを紹介する。 SparseTSFの中心にはCross-Period Sparse Forecasting技術があり、時系列データの周期性と傾向を分離することで予測タスクを単純化する。 SparseTSFは目覚ましい一般化機能を示しており、限られた計算資源、小さなサンプル、低品質のデータを扱うシナリオに適している。
  論文  参考訳（メタデータ） (2024-05-02T02:15:23Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• A Scalable and Transferable Time Series Prediction Framework for Demand Forecasting [24.06534393565697]
  時系列予測は多くのビジネス問題において最も不可欠でユビキタスなタスクの1つである。 本稿では,多種多様なアイテムの今後の需要を正確に予測できる,シンプルかつ強力なフレームワークであるフォレスティング・オーケストラ(Forchestra)を提案する。
  論文  参考訳（メタデータ） (2024-02-29T18:01:07Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• RobustTSF: Towards Theory and Design of Robust Time Series Forecasting with Anomalies [28.59935971037066]
  汚染データからロバストな予測モデルを自動的に学習する手法を開発した。 そこで本研究では,ロバストな予測モデルを学習するための単純かつ効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-03T05:13:09Z)
• Scaling TabPFN: Sketching and Feature Selection for Tabular Prior-Data Fitted Networks [31.82225213006849]
  タブラル分類は伝統的に教師付きアルゴリズムに依存しており、トレーニングデータを用いて予測モデルのパラメータを推定する。 近年、TabPFNのようなPFN(Presideed Data Fitted Networks)は、コンテキスト内の表データの分類に成功している。 このようなモデルは非常に有望であるが、実際のデータに適用可能であるのは計算規模が限られているためである。
  論文  参考訳（メタデータ） (2023-11-17T16:04:27Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Generative Table Pre-training Empowers Models for Tabular Prediction [71.76829961276032]
  本稿では,テーブル事前学習を利用した最初の試みであるTapTapを提案する。 TapTapは、プライバシ保護、リソースの低さ、価値計算の欠如、不均衡な分類など、さまざまなアプリケーションをサポートするための高品質な合成テーブルを生成することができる。 LightGBM、Multilayer Perceptron (MLP)、Transformerなどのバックボーンモデルと簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2023-05-16T06:37:38Z)
• Ensembles of Randomized NNs for Pattern-based Time Series Forecasting [0.0]
  本稿では,ランダム化ニューラルネットワークに基づくアンサンブル予測手法を提案する。 時系列のパターンに基づく表現は、複数の季節の時系列を予測するのに適している。 4つの実世界の予測問題に対するケーススタディにより,提案手法の有効性と性能が検証された。
  論文  参考訳（メタデータ） (2021-07-08T20:13:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。