論文の概要: In-Context Fine-Tuning for Time-Series Foundation Models

• arxiv url: http://arxiv.org/abs/2410.24087v1
• Date: Thu, 31 Oct 2024 16:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:42.307929
• Title: In-Context Fine-Tuning for Time-Series Foundation Models
• Title（参考訳）: 時系列基礎モデルのインコンテキスト微調整
• Authors: Abhimanyu Das, Matthew Faw, Rajat Sen, Yichen Zhou,
• Abstract要約: 特に、複数の時系列例でトリガーできる事前訓練された基礎モデルを設計する。 我々の基礎モデルは、コンテキストウィンドウ内の複数の関連する時系列の例を利用するように特別に訓練されている。 本研究では,テキスト内サンプルを推論時に使用する基盤モデルにより,一般的な予測ベンチマークにおいて,より優れた性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 18.348874079298298
• License:
• Abstract: Motivated by the recent success of time-series foundation models for zero-shot forecasting, we present a methodology for $\textit{in-context fine-tuning}$ of a time-series foundation model. In particular, we design a pretrained foundation model that can be prompted (at inference time) with multiple time-series examples, in order to forecast a target time-series into the future. Our foundation model is specifically trained to utilize examples from multiple related time-series in its context window (in addition to the history of the target time-series) to help it adapt to the specific distribution of the target domain at inference time. We show that such a foundation model that uses in-context examples at inference time can obtain much better performance on popular forecasting benchmarks compared to supervised deep learning methods, statistical models, as well as other time-series foundation models. Interestingly, our in-context fine-tuning approach even rivals the performance of a foundation model that is explicitly fine-tuned on the target domain.
• Abstract（参考訳）: ゼロショット予測のための最近の時系列基礎モデルの成功に触発されて、$\textit{in-context fine-tuning}$の時系列基礎モデルの方法論を提示する。 特に、対象とする時系列を未来へ予測するために、複数の時系列例で(推論時に)誘導できる事前訓練された基礎モデルを設計する。 本研究の基盤モデルでは,コンテキストウィンドウ内の複数の関連する時系列の例(対象時系列の履歴に加えて)を利用して,推定時刻における対象領域の特定の分布に適応するように特別に訓練している。 推論時に文脈内例を用いた基礎モデルは,教師付き深層学習法や統計モデル,その他の時系列基盤モデルと比較して,一般的な予測ベンチマークよりもはるかに優れた性能が得られることを示す。 興味深いことに、私たちのコンテキスト内微調整アプローチは、ターゲットドメイン上で明示的に微調整された基礎モデルの性能に匹敵するものです。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• FoundTS: Comprehensive and Unified Benchmarking of Foundation Models for Time Series Forecasting [44.33565276128137]
  時系列予測(TSF)は、金融、気象サービス、エネルギー管理など、多くの分野で重要な機能である。 ファンデーションモデルは、新しいまたは見えないデータで有望な推論機能を示す。 そこで我々は,そのようなモデルの徹底的かつ公平な評価と比較を可能にする新しいベンチマーク FoundTS を提案する。
  論文  参考訳（メタデータ） (2024-10-15T17:23:49Z)
• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントに28のデータセットが含まれている。 また、約2300億のデータポイントを含む非学習事前学習データセットも提供します。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• LaT-PFN: A Joint Embedding Predictive Architecture for In-context Time-series Forecasting [0.0]
  我々は,ゼロショット予測を可能にする強力な埋め込み空間を持つ基本時系列モデルであるLatntTimePFNを紹介する。 我々は、PFNとJEPA(Joint Embedding Predictive Architecture)フレームワークの新たな統合を利用して、潜在空間におけるコンテキスト内学習を行う。
  論文  参考訳（メタデータ） (2024-05-16T13:44:56Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• A decoder-only foundation model for time-series forecasting [23.824504640087753]
  我々のモデルは,大規模時系列コーパス上でパッチ付きデコーダスタイルのアテンションモデルを事前学習することに基づいている。 予測履歴の長さ、予測長、時間的粒度の異なる範囲でうまく機能する。
  論文  参考訳（メタデータ） (2023-10-14T17:01:37Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
  本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。 当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。 単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-26T20:41:19Z)
• A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
  イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。 基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
  論文  参考訳（メタデータ） (2020-02-21T23:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。