論文の概要: Transfer Learning in Deep Learning Models for Building Load Forecasting:
Case of Limited Data
- arxiv url: http://arxiv.org/abs/2301.10663v1
- Date: Wed, 25 Jan 2023 16:05:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-26 14:52:20.058909
- Title: Transfer Learning in Deep Learning Models for Building Load Forecasting:
Case of Limited Data
- Title(参考訳): 建築負荷予測のための深層学習モデルにおける伝達学習--限られたデータの場合
- Authors: Menna Nawar, Moustafa Shomer, Samy Faddel, and Huangjie Gong
- Abstract要約: 本稿では,この問題を克服し,ディープラーニングモデルの性能を向上させるためのビルディング・ツー・ビルディング・トランスファー・ラーニング・フレームワークを提案する。
提案手法は,スクラッチからトレーニングを行う従来のディープラーニングと比較して,予測精度を56.8%向上させた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Precise load forecasting in buildings could increase the bill savings
potential and facilitate optimized strategies for power generation planning.
With the rapid evolution of computer science, data-driven techniques, in
particular the Deep Learning models, have become a promising solution for the
load forecasting problem. These models have showed accurate forecasting
results; however, they need abundance amount of historical data to maintain the
performance. Considering the new buildings and buildings with low resolution
measuring equipment, it is difficult to get enough historical data from them,
leading to poor forecasting performance. In order to adapt Deep Learning models
for buildings with limited and scarce data, this paper proposes a
Building-to-Building Transfer Learning framework to overcome the problem and
enhance the performance of Deep Learning models. The transfer learning approach
was applied to a new technique known as Transformer model due to its efficacy
in capturing data trends. The performance of the algorithm was tested on a
large commercial building with limited data. The result showed that the
proposed approach improved the forecasting accuracy by 56.8% compared to the
case of conventional deep learning where training from scratch is used. The
paper also compared the proposed Transformer model to other sequential deep
learning models such as Long-short Term Memory (LSTM) and Recurrent Neural
Network (RNN). The accuracy of the transformer model outperformed other models
by reducing the root mean square error to 0.009, compared to LSTM with 0.011
and RNN with 0.051.
- Abstract(参考訳): 建物の正確な負荷予測は、節減可能性を高め、発電計画の最適化戦略を促進する可能性がある。
コンピュータ科学の急速な進化により、特にディープラーニングモデルにおけるデータ駆動技術は、負荷予測問題に対する有望な解決策となっている。
これらのモデルは正確な予測結果を示しているが、性能を維持するには大量の履歴データが必要である。
新しい建物や低分解能の計測装置を備えた建物を考えると、それらから十分な履歴データを得ることは困難であり、予測性能が低下する。
本稿では,限られたデータと少ないデータを持つ建物にディープラーニングモデルを適用するために,その問題を克服し,ディープラーニングモデルの性能を向上させるビルディング・ツー・ビルディング・トランスファー・ラーニング・フレームワークを提案する。
転送学習手法をTransformerモデルと呼ばれる新しい手法に適用した。
アルゴリズムの性能は限られたデータを持つ大規模商業ビルでテストされた。
その結果,提案手法は,スクラッチからトレーニングを行う従来の深層学習と比較して,予測精度を56.8%向上させた。
また,提案モデルとLong-Short Term Memory(LSTM)やRecurrent Neural Network(RNN)といった他の逐次ディープラーニングモデルとの比較を行った。
変圧器モデルの精度は, 0.011のlstmと0.051のrnnと比較して, 根平均二乗誤差を0.009に下げることで他のモデルよりも優れていた。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - A Systematic Approach to Robustness Modelling for Deep Convolutional
Neural Networks [0.294944680995069]
最近の研究は、より大きなモデルが制御された列車やテストセット外のデータに一般化できるかどうかという疑問を提起している。
本稿では,障害発生確率を時間関数としてモデル化する手法を提案する。
コスト、ロバスト性、レイテンシ、信頼性のトレードオフについて検討し、より大きなモデルが敵のロバスト性に大きく寄与しないことを示す。
論文 参考訳(メタデータ) (2024-01-24T19:12:37Z) - EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。
本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
論文 参考訳(メタデータ) (2024-01-11T04:59:44Z) - Optimizing Dense Feed-Forward Neural Networks [0.0]
本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。
提案手法では,パラメータ数を70%以上圧縮できる。
また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
論文 参考訳(メタデータ) (2023-12-16T23:23:16Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Uncovering the Hidden Cost of Model Compression [49.937417635812025]
視覚プロンプティング (VP) はコンピュータビジョンにおいて重要な伝達学習手法として登場した。
モデル間隔は視覚的プロンプトベース転送の性能に悪影響を及ぼす。
以上の結果から,疎度が下流視覚刺激モデルの校正に及ぼす影響が示唆された。
論文 参考訳(メタデータ) (2023-08-29T01:47:49Z) - Scaling Relationship on Learning Mathematical Reasoning with Large
Language Models [75.29595679428105]
本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。
複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
論文 参考訳(メタデータ) (2023-08-03T15:34:01Z) - Learning Sample Difficulty from Pre-trained Models for Reliable
Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。
我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文 参考訳(メタデータ) (2023-04-20T07:29:23Z) - Online learning techniques for prediction of temporal tabular datasets
with regime changes [0.0]
時間パネルデータセットの予測をランキングするモジュール型機械学習パイプラインを提案する。
パイプラインのモジュラリティにより、GBDT(Gradient Boosting Decision Tree)やニューラルネットワークなど、さまざまなモデルの使用が可能になる。
モデルの再トレーニングを必要としないオンライン学習技術は、予測後の結果を高めるために使用することができる。
論文 参考訳(メタデータ) (2022-12-30T17:19:00Z) - Temporal Convolution Domain Adaptation Learning for Crops Growth
Prediction [5.966652553573454]
我々は、限られた作物データを用いて、作物の成長曲線を予測するために、ドメイン適応学習に基づく革新的なネットワークアーキテクチャを構築した。
私たちは、時間的畳み込みフィルタをバックボーンとして使用し、ドメイン適応ネットワークアーキテクチャを構築しました。
その結果,提案した時間的畳み込みに基づくネットワークアーキテクチャは,精度だけでなく,モデルサイズや収束率においても,すべてのベンチマークより優れていた。
論文 参考訳(メタデータ) (2022-02-24T14:22:36Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。