Fugu-MT 論文翻訳(概要): Transfer Learning in Deep Learning Models for Building Load Forecasting: Case of Limited Data

論文の概要: Transfer Learning in Deep Learning Models for Building Load Forecasting: Case of Limited Data

arxiv url: http://arxiv.org/abs/2301.10663v2
Date: Fri, 27 Jan 2023 11:16:08 GMT
ステータス: 処理完了
システム内更新日: 2023-01-30 11:50:04.385070
Title: Transfer Learning in Deep Learning Models for Building Load Forecasting: Case of Limited Data
Title（参考訳）: 建築負荷予測のための深層学習モデルにおける伝達学習--限られたデータの場合
Authors: Menna Nawar, Moustafa Shomer, Samy Faddel, and Huangjie Gong
Abstract要約: 本稿では,この問題を克服し,ディープラーニングモデルの性能を向上させるためのビルディング・ツー・ビルディング・トランスファー・ラーニング・フレームワークを提案する。提案手法は,スクラッチからトレーニングを行う従来のディープラーニングと比較して,予測精度を56.8%向上させた。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Precise load forecasting in buildings could increase the bill savings potential and facilitate optimized strategies for power generation planning. With the rapid evolution of computer science, data-driven techniques, in particular the Deep Learning models, have become a promising solution for the load forecasting problem. These models have showed accurate forecasting results; however, they need abundance amount of historical data to maintain the performance. Considering the new buildings and buildings with low resolution measuring equipment, it is difficult to get enough historical data from them, leading to poor forecasting performance. In order to adapt Deep Learning models for buildings with limited and scarce data, this paper proposes a Building-to-Building Transfer Learning framework to overcome the problem and enhance the performance of Deep Learning models. The transfer learning approach was applied to a new technique known as Transformer model due to its efficacy in capturing data trends. The performance of the algorithm was tested on a large commercial building with limited data. The result showed that the proposed approach improved the forecasting accuracy by 56.8% compared to the case of conventional deep learning where training from scratch is used. The paper also compared the proposed Transformer model to other sequential deep learning models such as Long-short Term Memory (LSTM) and Recurrent Neural Network (RNN). The accuracy of the transformer model outperformed other models by reducing the root mean square error to 0.009, compared to LSTM with 0.011 and RNN with 0.051.
Abstract（参考訳）: 建物の正確な負荷予測は、節減可能性を高め、発電計画の最適化戦略を促進する可能性がある。コンピュータ科学の急速な進化により、特にディープラーニングモデルにおけるデータ駆動技術は、負荷予測問題に対する有望な解決策となっている。これらのモデルは正確な予測結果を示しているが、性能を維持するには大量の履歴データが必要である。新しい建物や低分解能の計測装置を備えた建物を考えると、それらから十分な履歴データを得ることは困難であり、予測性能が低下する。本稿では,限られたデータと少ないデータを持つ建物にディープラーニングモデルを適用するために,その問題を克服し,ディープラーニングモデルの性能を向上させるビルディング・ツー・ビルディング・トランスファー・ラーニング・フレームワークを提案する。転送学習手法をTransformerモデルと呼ばれる新しい手法に適用した。アルゴリズムの性能は限られたデータを持つ大規模商業ビルでテストされた。その結果,提案手法は,スクラッチからトレーニングを行う従来の深層学習と比較して,予測精度を56.8%向上させた。また,提案モデルとLong-Short Term Memory(LSTM)やRecurrent Neural Network(RNN)といった他の逐次ディープラーニングモデルとの比較を行った。変圧器モデルの精度は, 0.011のlstmと0.051のrnnと比較して, 根平均二乗誤差を0.009に下げることで他のモデルよりも優れていた。

関連論文リスト

An Investigation on Machine Learning Predictive Accuracy Improvement and Uncertainty Reduction using VAE-based Data Augmentation [2.517043342442487]
深層生成学習は、特定のMLモデルを使用して、既存のデータの基盤となる分布を学習し、実際のデータに似た合成サンプルを生成する。本研究では,変分オートエンコーダ(VAE)を用いた深部生成モデルを用いて,データ拡張の有効性を評価することを目的とする。本研究では,拡張データを用いてトレーニングしたディープニューラルネットワーク(DNN)モデルの予測において,データ拡張が精度の向上につながるかどうかを検討した。
論文参考訳（メタデータ） (2024-10-24T18:15:48Z)
Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文参考訳（メタデータ） (2024-02-28T08:34:23Z)
EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
論文参考訳（メタデータ） (2024-01-11T04:59:44Z)
Optimizing Dense Feed-Forward Neural Networks [0.0]
本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。提案手法では,パラメータ数を70%以上圧縮できる。また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
論文参考訳（メタデータ） (2023-12-16T23:23:16Z)
Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-12-07T07:17:24Z)
Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
論文参考訳（メタデータ） (2023-08-03T15:34:01Z)
Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文参考訳（メタデータ） (2023-06-28T18:14:22Z)
Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文参考訳（メタデータ） (2023-04-20T07:29:23Z)
Online learning techniques for prediction of temporal tabular datasets with regime changes [0.0]
時間パネルデータセットの予測をランキングするモジュール型機械学習パイプラインを提案する。パイプラインのモジュラリティにより、GBDT(Gradient Boosting Decision Tree)やニューラルネットワークなど、さまざまなモデルの使用が可能になる。モデルの再トレーニングを必要としないオンライン学習技術は、予測後の結果を高めるために使用することができる。
論文参考訳（メタデータ） (2022-12-30T17:19:00Z)
Temporal Convolution Domain Adaptation Learning for Crops Growth Prediction [5.966652553573454]
我々は、限られた作物データを用いて、作物の成長曲線を予測するために、ドメイン適応学習に基づく革新的なネットワークアーキテクチャを構築した。私たちは、時間的畳み込みフィルタをバックボーンとして使用し、ドメイン適応ネットワークアーキテクチャを構築しました。その結果,提案した時間的畳み込みに基づくネットワークアーキテクチャは,精度だけでなく,モデルサイズや収束率においても,すべてのベンチマークより優れていた。
論文参考訳（メタデータ） (2022-02-24T14:22:36Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。