論文の概要: Model Selection, Adaptation, and Combination for Deep Transfer Learning
through Neural Networks in Renewable Energies
- arxiv url: http://arxiv.org/abs/2204.13293v1
- Date: Thu, 28 Apr 2022 05:34:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-30 03:20:50.118469
- Title: Model Selection, Adaptation, and Combination for Deep Transfer Learning
through Neural Networks in Renewable Energies
- Title（参考訳）: 再生可能エネルギーにおけるニューラルネットワークによる深層伝達学習のためのモデル選択・適応・組み合わせ
- Authors: Jens Schreiber and Bernhard Sick
- Abstract要約: 再生可能電力予測におけるモデル選択と伝達学習の適応のための最初の徹底的な実験を行う。
異なる季節のデータに基づくモデルを採用し、トレーニングデータの量を制限する。
複数のモデルをアンサンブルで組み合わせることで、モデル選択と適応のアプローチが大幅に改善されることを示す。
- 参考スコア（独自算出の注目度）: 5.953831950062808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is recent interest in using model hubs, a collection of pre-trained
models, in computer vision tasks. To utilize the model hub, we first select a
source model and then adapt the model for the target to compensate for
differences. While there is yet limited research on a model selection and
adaption for computer vision tasks, this holds even more for the field of
renewable power. At the same time, it is a crucial challenge to provide
forecasts for the increasing demand for power forecasts based on weather
features from a numerical weather prediction. We close these gaps by conducting
the first thorough experiment for model selection and adaptation for transfer
learning in renewable power forecast, adopting recent results from the field of
computer vision on six datasets. We adopt models based on data from different
seasons and limit the amount of training data. As an extension of the current
state of the art, we utilize a Bayesian linear regression for forecasting the
response based on features extracted from a neural network. This approach
outperforms the baseline with only seven days of training data. We further show
how combining multiple models through ensembles can significantly improve the
model selection and adaptation approach. In fact, with more than 30 days of
training data, both proposed model combination techniques achieve similar
results to those models trained with a full year of training data.
- Abstract（参考訳）: 近年,コンピュータビジョンタスクにおける事前学習モデルの集合であるmodel hubsの利用が注目されている。
モデルハブを利用するために、まずソースモデルを選択し、次にターゲットのモデルに差分を補うように適応する。
コンピュータビジョンタスクのモデル選択と適応についてはまだ研究が限られているが、再生可能エネルギーの分野ではさらに研究が進んでいる。
同時に,数値的な気象予報から得られた気象特性に基づいて,電力需要の増加に対する予報を提供することが重要な課題である。
再生可能電力予測における伝達学習のためのモデル選択と適応に関する最初の徹底的な実験を行い,6つのデータセットのコンピュータビジョンの分野における最近の結果を採用し,これらのギャップを解消した。
異なる季節のデータに基づいてモデルを採用し,トレーニングデータの量を制限する。
現状の延長として,ニューラルネットワークから抽出した特徴に基づいて応答を予測するためにベイズ線形回帰を用いた。
このアプローチは、7日間のトレーニングデータでベースラインを上回っている。
さらに,複数のモデルをアンサンブルで組み合わせることで,モデル選択と適応アプローチを大幅に改善できることを示す。
実際、30日以上のトレーニングデータを持つ2つのモデルの組み合わせ技術は、トレーニングデータ1年分でトレーニングされたモデルと同じような結果を得る。
関連論文リスト
- Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。
限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-09-10T07:34:19Z) - Model Selection with Model Zoo via Graph Learning [45.30615308692713]
本稿では,グラフ学習問題としてモデル選択を再構成する新しいフレームワークであるTransferGraphを紹介する。
我々は,TransferGraphが本質的なモデル-データセット関係を捕捉し,予測性能と実際の微調整結果との相関性を最大32%向上させる効果を,最先端の手法と比較した。
論文 参考訳（メタデータ） (2024-04-05T09:50:00Z) - A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
本稿では,2相モデル選択フレームワークを提案する。
これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。
提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
論文 参考訳（メタデータ） (2024-03-28T14:44:44Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - Wrapper Boxes: Faithful Attribution of Model Predictions to Training Data [40.7542543934205]
ニューラルモデルを通常のように訓練し、学習した特徴表現を古典的解釈可能なモデルで使用して予測を行う「ラッパーボックス」パイプラインを提案する。
異なる大きさの7つの言語モデルに対して、まず、ラッパー古典モデルの予測性能が元のニューラルモデルにほぼ匹敵することを示した。
我々のパイプラインは、古典的なモデル決定をデータトレーニングに忠実に寄与しながら、ニューラルネットワークモデルの予測性能を保っている。
論文 参考訳（メタデータ） (2023-11-15T01:50:53Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Pushing the Limits of Pre-training for Time Series Forecasting in the
CloudOps Domain [54.67888148566323]
クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。
強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。
これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
論文 参考訳（メタデータ） (2023-10-08T08:09:51Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Revealing Secrets From Pre-trained Models [2.0249686991196123]
トランスファーラーニングは多くの新しいディープラーニングアルゴリズムで広く採用されている。
本研究では,事前学習モデルと微調整モデルが重み値に非常によく似ていることを示す。
ブラックボックスの被害者モデルで使用されるモデルアーキテクチャと事前訓練モデルを明らかにするモデル抽出攻撃を提案する。
論文 参考訳（メタデータ） (2022-07-19T20:19:03Z) - Do We Really Need Deep Learning Models for Time Series Forecasting? [4.2698418800007865]
時系列予測は、幅広い応用があるため、機械学習において重要なタスクである。
ディープラーニングとマトリックスファクタリゼーションモデルは、より競争力のあるパフォーマンスで同じ問題に取り組むために最近提案されている。
本稿では,これらの高度に複雑なディープラーニングモデルが代替手段がないかどうかを問う。
論文 参考訳（メタデータ） (2021-01-06T16:18:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。