論文の概要: Improving Sample Efficiency of Deep Learning Models in Electricity
Market
- arxiv url: http://arxiv.org/abs/2210.05599v1
- Date: Tue, 11 Oct 2022 16:35:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 17:56:38.823410
- Title: Improving Sample Efficiency of Deep Learning Models in Electricity
Market
- Title(参考訳): 電気市場におけるディープラーニングモデルのサンプル効率向上
- Authors: Guangchun Ruan, Jianxiao Wang, Haiwang Zhong, Qing Xia, Chongqing Kang
- Abstract要約: 我々は,サンプルの効率を向上させるため,知識強化トレーニング(KAT)という一般的なフレームワークを提案する。
本稿では,いくつかの合成データを生成する新しいデータ拡張手法を提案する。
現代の学習理論は, 効果的な予測誤差フィードバック, 信頼損失関数, リッチ勾配雑音の観点から, 提案手法の有効性を実証している。
- 参考スコア(独自算出の注目度): 0.41998444721319217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The superior performance of deep learning relies heavily on a large
collection of sample data, but the data insufficiency problem turns out to be
relatively common in global electricity markets. How to prevent overfitting in
this case becomes a fundamental challenge when training deep learning models in
different market applications. With this in mind, we propose a general
framework, namely Knowledge-Augmented Training (KAT), to improve the sample
efficiency, and the main idea is to incorporate domain knowledge into the
training procedures of deep learning models. Specifically, we propose a novel
data augmentation technique to generate some synthetic data, which are later
processed by an improved training strategy. This KAT methodology follows and
realizes the idea of combining analytical and deep learning models together.
Modern learning theories demonstrate the effectiveness of our method in terms
of effective prediction error feedbacks, a reliable loss function, and rich
gradient noises. At last, we study two popular applications in detail: user
modeling and probabilistic price forecasting. The proposed method outperforms
other competitors in all numerical tests, and the underlying reasons are
explained by further statistical and visualization results.
- Abstract(参考訳): ディープラーニングの優れた性能は大量のサンプルデータに大きく依存しているが、データ不足は世界の電力市場において比較的一般的であることが判明した。
この場合、過度な適合を防ぐための方法は、異なる市場アプリケーションでディープラーニングモデルをトレーニングする場合、根本的な課題になる。
このことを念頭に置いて,サンプル効率を向上させるための汎用フレームワーク,すなわち知識提供トレーニング(kat)を提案し,深層学習モデルの学習手順にドメイン知識を組み込むことが主目的である。
具体的には,いくつかの合成データを生成するための新しいデータ拡張手法を提案する。
このKAT手法は分析モデルと深層学習モデルを組み合わせるという考え方を従えて実現している。
現代の学習理論は,提案手法の有効性を,効果的な予測誤差フィードバック,信頼損失関数,リッチ勾配雑音の観点から示す。
最後に、ユーザモデリングと確率的価格予測という2つの人気のあるアプリケーションを詳細に調査した。
提案手法は,全ての数値実験において他の競争相手よりも優れており,その基礎となる理由は,さらなる統計的,可視化的な結果によって説明できる。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - A Comprehensive Study on Model Initialization Techniques Ensuring
Efficient Federated Learning [0.0]
フェデレートラーニング(FL)は、分散とプライバシ保護の方法で機械学習モデルをトレーニングするための有望なパラダイムとして登場した。
モデルに使用される手法の選択は、フェデレーション学習システムの性能、収束速度、通信効率、プライバシー保証において重要な役割を果たす。
本研究は,各手法のメリットとデメリットを慎重に比較,分類,記述し,さまざまなFLシナリオに適用性について検討する。
論文 参考訳(メタデータ) (2023-10-31T23:26:58Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Model predictive control-based value estimation for efficient
reinforcement learning [7.669242992713961]
データ駆動型アプローチにより環境をモデル化するモデル予測制御に基づく改良された強化学習手法を設計する。
学習した環境モデルに基づいて、価値関数を推定し、ポリシーを最適化する多段階予測を行う。
本手法は, 学習効率の向上, 最適値に傾向のある戦略の収束速度の向上, 経験的再生バッファに必要なサンプル容量の削減を実現する。
論文 参考訳(メタデータ) (2023-10-25T13:55:14Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - Federated Pruning: Improving Neural Network Efficiency with Federated
Learning [24.36174705715827]
フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。
異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
論文 参考訳(メタデータ) (2022-09-14T00:48:37Z) - Learnability of Competitive Threshold Models [11.005966612053262]
理論的観点から,競合しきい値モデルの学習可能性について検討する。
ニューラルネットワークによって競合しきい値モデルをシームレスにシミュレートする方法を実証する。
論文 参考訳(メタデータ) (2022-05-08T01:11:51Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳(メタデータ) (2020-11-01T18:47:51Z) - Domain Knowledge Integration By Gradient Matching For Sample-Efficient
Reinforcement Learning [0.0]
本研究では,モデルフリー学習者を支援するために,ダイナミックスからの目標勾配情報を活用することで,サンプル効率を向上させる勾配マッチングアルゴリズムを提案する。
本稿では,モデルに基づく学習者からの勾配情報と,抽象的な低次元空間におけるモデル自由成分とをマッチングする手法を提案する。
論文 参考訳(メタデータ) (2020-05-28T05:02:47Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳(メタデータ) (2020-05-01T02:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。