論文の概要: Enabling Time-series Foundation Model for Building Energy Forecasting via Contrastive Curriculum Learning

• arxiv url: http://arxiv.org/abs/2412.17285v1
• Date: Mon, 23 Dec 2024 05:07:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:59.396530
• Title: Enabling Time-series Foundation Model for Building Energy Forecasting via Contrastive Curriculum Learning
• Title（参考訳）: コントラスト学習による建築エネルギー予測のための時系列基礎モデルの構築
• Authors: Rui Liang, Yang Deng, Donghua Xie, Fang He, Dan Wang,
• Abstract要約: エネルギー予測タスク構築のための基礎モデル(FM)の適用について検討する。 そこで本研究では,新しいテキストコントラスト学習に基づく学習方法を提案する。 実験の結果,既存のFMと比較してゼロ/フェーショット性能を14.6%向上できることがわかった。
• 参考スコア（独自算出の注目度）: 12.19823790689484
• License:
• Abstract: Advances in time-series forecasting are driving a shift from conventional machine learning models to foundation models (FMs) that are trained with generalized knowledge. However, existing FMs still perform poorly in the energy fields, such as building energy forecasting (BEF). This paper studies the adaptation of FM to BEF tasks. We demonstrate the shortcomings of fine-tuning FM straightforwardly from both the perspectives of FM and the data. To overcome these limitations, we propose a new \textit{contrastive curriculum learning}-based training method. Our method optimizes the ordering of training data in the context of TSFM adaptation. Experiments show that our method can improve the zero/few-shot performance by 14.6\% compared to the existing FMs. Our code and new TSFM will be available at <Anonymous Github Repo>.
• Abstract（参考訳）: 時系列予測の進歩は、一般的な知識で訓練された従来の機械学習モデルから基礎モデル(FM)へのシフトを促している。 しかし、既存のFMは、建築エネルギー予測(BEF)のようなエネルギー分野では依然として性能が良くない。 本稿では,FMのBEFタスクへの適応について検討する。 我々は、FMとデータの両方の観点から、微調整FMの欠点を直接的に示す。 これらの制約を克服するために,新しい‘textit{contrastive curriculum learning} ベースのトレーニング手法を提案する。 本手法は,TSFM適応の文脈におけるトレーニングデータの順序付けを最適化する。 実験の結果,既存のFMと比較してゼロ/フェーショット性能を14.6倍に向上できることがわかった。 私たちのコードと新しいTSFMは、<Anonymous Github Repo>で公開されます。

関連論文リスト

• Large Model for Small Data: Foundation Model for Cross-Modal RF Human Activity Recognition [7.351361666395708]
  我々は、RFベースのHARシステムを強化するために、視覚ベースのFMの知識を翻訳するクロスモーダルフレームワークであるFM-Fiを紹介する。 FM-Fiは、RFエンコーダがFMの解釈力を引き継ぐことができる新しいクロスモーダルコントラストな知識蒸留機構を含んでいる。 また、FMとRFの本質的な能力を利用して、2つのモード間のアライメントを改善するために外在的な特徴を取り除いている。
  論文  参考訳（メタデータ） (2024-10-13T03:43:59Z)
• Synergizing Foundation Models and Federated Learning: A Survey [23.416321895575507]
  本稿では,フェデレートラーニング(FL)とファンデーションモデル(FM)の融合の可能性と課題について論じる。 FLは、さまざまな参加者からのデータ可用性の障壁を破る、共同学習パラダイムである。 プライバシを保護しながら、分散データセットを使用して、幅広いドメイン固有のタスクにFMをカスタマイズし、適応する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-06-18T17:58:09Z)
• FedPFT: Federated Proxy Fine-Tuning of Foundation Models [55.58899993272904]
  フェデレートラーニング(FL)を通じて下流タスクにファンデーションモデル(FM)を適用することは、データプライバシと価値のあるFMを保護するための有望な戦略として現れます。 FLのクライアントにサブFMを割り当てることによる既存のFMの微調整手法は、チューニングが不十分で勾配の必然的エラー蓄積が避けられないため、最適以下の性能をもたらす。 本稿では,FedPFT(Federated Proxy Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:30:06Z)
• Optimal Flow Matching: Learning Straight Trajectories in Just One Step [89.37027530300617]
  我々は,新しいtextbf Optimal Flow Matching (OFM) アプローチを開発し,理論的に正当化する。 これは2次輸送のための直列のOT変位をFMの1ステップで回復することを可能にする。 提案手法の主な考え方は,凸関数によってパラメータ化されるFMのベクトル場の利用である。
  論文  参考訳（メタデータ） (2024-03-19T19:44:54Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• VideoGLUE: Video General Understanding Evaluation of Foundation Models [89.07145427268948]
  我々は、慎重に設計された実験プロトコルを用いて、基礎モデル(FM)の映像理解能力を評価する。 一般的な映像理解タスクに適応する際のFMの目印と有効性について共同で検討する。
  論文  参考訳（メタデータ） (2023-07-06T17:47:52Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。