論文の概要: Parameter-Efficient Adaptation of Time Series Foundation Models for Electrical Load Forecasting
- arxiv url: http://arxiv.org/abs/2610.28200v1
- Date: Tue, 20 Oct 2026 13:40:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.83352
- Title: Parameter-Efficient Adaptation of Time Series Foundation Models for Electrical Load Forecasting
- Title(参考訳): 電力負荷予測のための時系列基礎モデルのパラメータ効率の良い適応
- Abstract要約: 本稿では,予測精度と適応効率の観点から,事前学習した推論,完全微調整,ローランク適応(LoRA)を比較した。
MOIRAI Largeでは、ランク16のLoRAは正規化平均絶対誤差(NMAE)を平均で7.5%削減し、3.146万のパラメータを更新する。
Chronos-2はMOIRAIよりも訓練済みのNMAEが低いが、適応の恩恵は少ない。
- 参考スコア(独自算出の注目度): 6.295757997298671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate electrical load forecasting supports power-system operation across countries, regions, cities, and buildings, but repeated development of target-specific models is costly. Time series foundation models (TSFMs) provide reusable pretrained backbones, although multi-domain pretraining may not fully capture load-specific characteristics. This paper compares pretrained inference, full fine-tuning, and low-rank adaptation (LoRA) in terms of forecasting accuracy and adaptation efficiency across four electrical load aggregation levels. MOIRAI 1.0 Large serves as the primary backbone, while Chronos-2 assesses whether the findings transfer across model families. The evaluation covers both in-distribution (ID) and out-of-distribution (OOD) settings and examines whether compact adaptation provides consistent gains over strong pretrained checkpoints. Pretrained foundation models outperform the implemented seasonal naive and XGBoost baselines across the evaluated aggregation levels. On MOIRAI Large, rank-16 LoRA reduces normalized mean absolute error (NMAE) by 7.5% on average while updating 3.146 million parameters, about 1% of the model, and retains most of the improvement from full fine-tuning. Chronos-2 achieves lower pretrained NMAE than MOIRAI but benefits less from adaptation. OOD results show that adaptation benefits vary by target, with the clearest gains for the local-area series and several buildings. Overall, LoRA provides a favorable accuracy-efficiency trade-off when adaptation yields a meaningful gain over a strong pretrained checkpoint.
- Abstract(参考訳): 正確な電力負荷予測は、国、地域、都市、建物間の電力系統の運用を支援するが、目標固有モデルの反復的な開発はコストがかかる。
時系列基礎モデル (TSFM) は、再利用可能な事前訓練されたバックボーンを提供するが、マルチドメイン事前訓練は、負荷固有の特徴を完全に捉えることはできない。
本稿では,4つの電気的負荷集約レベルにおける予測精度と適応効率の観点から,事前学習した推論,フル微調整,ローランク適応(LoRA)を比較した。
MOIRAI 1.0 Largeは主要なバックボーンとして機能し、Chronos-2はモデルファミリー間で発見が伝達されるかどうかを評価する。
評価は, 分配内(ID)と分配外(OOD)の設定の両方をカバーし, コンパクト適応が事前訓練された強いチェックポイントに対して一貫した利得を提供するかどうかを検討する。
事前トレーニングされた基礎モデルは、評価されたアグリゲーションレベルにわたって、実装された季節的ナイーブとXGBoostベースラインを上回った。
MOIRAI Largeでは、ランク16のLoRAは正規化平均絶対誤差(NMAE)を平均で7.5%削減し、モデルの約1%である3.146万のパラメータを更新する。
Chronos-2はMOIRAIよりも訓練済みのNMAEが低いが、適応の恩恵は少ない。
OODの結果, 適応効果はターゲットによって異なり, 地域・地域・建物では最も顕著な利得が得られた。
全体として、LoRAは、適応が強い事前訓練されたチェックポイントよりも有意義な利得をもたらす場合に、良好な精度効率のトレードオフを提供する。
関連論文リスト
- EMG-FM-Bench: A Comprehensive Benchmark for Foundation Model Transfer and Adaptation on Electromyography [15.282818580569021]
EMG-FM-Benchは、基礎モデル転送と筋電図への適応を研究するための体系的なベンチマークである。
事前トレーニングされたモデルが凍結時や完全微調整時にどのように機能するか、事前トレーニングが同じモデルをスクラッチからトレーニングするのにどの程度役立つか、ラベル付きデータに制限された新規ユーザにどのように一般化するか、異なるEMGタスク間でのパフォーマンスがどう変化するか、という4つの質問に対して、事前トレーニングされた基礎モデルを評価する。
論文 参考訳(メタデータ) (2026-10-05T14:53:56Z) - PCQA-R1: Advancing Generalized 3D Point Cloud Quality Assessment with Reinforcement Learning [51.75061005702151]
ノンリファレンスポイントクラウド品質アセスメント(PCQA)は近年活発なトピックであり、ポイントクラウドの視覚的エクスペリエンスの測定と最適化に使用されている。
本稿では,3次元点雲質評価のための最初の強化学習LMMであるPCQA-R1について述べる。
論文 参考訳(メタデータ) (2026-08-19T07:21:58Z) - Improvements to the post-processing of weather forecasts using machine learning and feature selection [0.0]
本研究の目的は,降水量,温度,風速予測のための機械学習に基づく後処理モデルの開発と改良である。
対象地を囲む格子点からの気象変数を入力特徴として取り入れ,相関解析に基づく特徴選択を適用することにより,LightGBMモデルによるRMSEの低下が確認された。
降水量はゼロの場合が多いため,ツイーディに基づく損失関数と,降水予測のためのイベント重み付きトレーニング戦略も検討した。
論文 参考訳(メタデータ) (2026-04-21T11:17:29Z) - Meteorology-Driven GPT4AP: A Multi-Task Forecasting LLM for Atmospheric Air Pollution in Data-Scarce Settings [4.364999214109123]
事前訓練GPT-2バックボーンとガウスランク安定化低ランク適応(rsLoRA)に基づく大気汚染のための気象駆動型GPT(GPT4AP)
モデルは、数ショット、ゼロショット、長期予測設定の下で6つの実世界の空気質監視データセットで評価される。
論文 参考訳(メタデータ) (2026-03-31T16:37:06Z) - Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。
我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。
この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
論文 参考訳(メタデータ) (2026-03-31T14:46:39Z) - A Diffusion-Based Framework for High-Resolution Precipitation Forecasting over CONUS [0.410492188035848]
本研究では,拡散に基づくディープラーニング(DL)フレームワークを,入力源のみが異なる3つの残差予測戦略を体系的に比較する。
予測は1kmの空間解像度で生成され、1時間の直接予測から始まり、自動回帰ロールアウトを使用して12時間まで延長される。
論文 参考訳(メタデータ) (2025-12-09T19:23:27Z) - Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。
トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
論文 参考訳(メタデータ) (2024-11-11T13:13:39Z) - Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models [75.9543301303586]
CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。
微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。
しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
論文 参考訳(メタデータ) (2023-10-12T08:01:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。