論文の概要: Fine-Tuning a Time Series Foundation Model with Wasserstein Loss

• arxiv url: http://arxiv.org/abs/2409.15367v2
• Date: Mon, 18 Nov 2024 17:00:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:31:24.859558
• Title: Fine-Tuning a Time Series Foundation Model with Wasserstein Loss
• Title（参考訳）: Wasserstein損失を伴う時系列基礎モデルの微調整
• Authors: Andrei Chernov,
• Abstract要約: クロスエントロピー損失をワッサーシュタイン損失に置き換えることで,点推定が大幅に向上することを示す。 その結果, クロスエントロピー損失をワッサーシュタイン損失に置き換えることにより, 点推定が大幅に向上することが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Inspired by recent advancements in large language models (LLMs) for Natural Language Processing (NLP), there has been a surge in research focused on developing foundational models for time series forecasting. One approach involves training LLM architectures on tokenized time series data using cross-entropy loss. Although this method has demonstrated promising results, cross-entropy loss is primarily designed for classification tasks and does not account for the distance between classes. To address this limitation, we propose using the Wasserstein loss for such architectures. To validate our approach, we fine-tuned a foundational time series model on $22$ zero-shot datasets, comparing the performance of cross-entropy loss with that of Wasserstein loss. Our results demonstrate that replacing cross-entropy loss with Wasserstein loss significantly improves point estimation.
• Abstract（参考訳）: 自然言語処理(NLP)のための大規模言語モデル(LLM)の最近の進歩に触発されて、時系列予測の基礎モデルの開発に焦点をあてた研究が急増している。 1つのアプローチは、クロスエントロピーロスを用いたトークン化された時系列データに基づくLLMアーキテクチャのトレーニングである。 この手法は有望な結果を示したが、クロスエントロピー損失は主に分類タスクのために設計されており、クラス間の距離を考慮しない。 この制限に対処するために、そのようなアーキテクチャにWasserstein損失を用いることを提案する。 提案手法の有効性を検証するため,20ドルのゼロショットデータセットを用いて基本時系列モデルを微調整し,クロスエントロピー損失とワッサーシュタイン損失の比較を行った。 その結果, クロスエントロピー損失をワッサーシュタイン損失に置き換えることにより, 点推定が大幅に向上することが示唆された。

関連論文リスト

• Hierarchical Classification Auxiliary Network for Time Series Forecasting [26.92086695600799]
  本稿では,時系列値をトークン化して,クロスエントロピー損失による予測モデルをトレーニングする手法を提案する。 本稿では,任意の予測モデルと統合可能な一般モデル非依存コンポーネントである階層分類補助ネットワークHCANを提案する。 HCANと最先端の予測モデルを統合する実験は、いくつかの実世界のデータセットのベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-05-29T10:38:25Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Multi-timestep models for Model-based Reinforcement Learning [10.940666275830052]
  モデルベース強化学習(MBRL)では、ほとんどのアルゴリズムはデータに基づいて学習した1ステップのダイナミックスモデルからの軌道のシミュレーションに依存している。 我々は、マルチステップの目標を用いてワンステップモデルをトレーニングすることでこの問題に対処する。 指数関数的に減衰する重みは、長い水平R2スコアを著しく改善するモデルに繋がることがわかった。
  論文  参考訳（メタデータ） (2023-10-09T12:42:39Z)
• Post-Processing Temporal Action Detection [134.26292288193298]
  時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。 この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。 モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-27T19:50:37Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Time-Series Imputation with Wasserstein Interpolation for Optimal Look-Ahead-Bias and Variance Tradeoff [66.59869239999459]
  ファイナンスでは、ポートフォリオ最適化モデルをトレーニングする前に、損失の計算を適用することができる。 インキュベーションのために全データセットを使用するルックアヘッドバイアスと、トレーニングデータのみを使用することによるインキュベーションの大きなばらつきとの間には、本質的にトレードオフがある。 提案手法は,提案法における差分とルックアヘッドバイアスのトレードオフを最適に制御するベイズ後部コンセンサス分布である。
  論文  参考訳（メタデータ） (2021-02-25T09:05:35Z)
• Adjusting for Autocorrelated Errors in Neural Networks for Time Series Regression and Forecasting [10.659189276058948]
  我々は,自己相関係数をモデルパラメータと組み合わせて学習し,自己相関誤差の補正を行う。 時系列回帰では,大規模な実験により,本手法がPrais-Winsten法より優れていることが示された。 実世界の幅広いデータセットを対象とした結果から,ほぼすべてのケースにおいて,本手法が性能を向上させることが示唆された。
  論文  参考訳（メタデータ） (2021-01-28T04:25:51Z)
• Time Series Data Imputation: A Survey on Deep Learning Approaches [4.4458738910060775]
  時系列データ計算は、様々なカテゴリのメソッドでよく研究されている問題である。 ディープラーニングに基づく時系列手法は、RNNのようなモデルの使用によって進歩している。 我々は,それらのモデルアーキテクチャ,その長所,短所,短所,および時系列計算手法の開発を示す効果をレビューし,議論する。
  論文  参考訳（メタデータ） (2020-11-23T11:57:27Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Nested-Wasserstein Self-Imitation Learning for Sequence Generation [158.19606942252284]
  分布意味マッチングのためのネスト・ワッサーシュタイン距離の概念を提案する。 ネストされたワッサーシュタインの自己想像学習フレームワークを開発し、歴史ある高次列を利用するようモデルに奨励する。
  論文  参考訳（メタデータ） (2020-01-20T02:19:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。