論文の概要: Evaluating State of the Art, Forecasting Ensembles- and Meta-learning
Strategies for Model Fusion
- arxiv url: http://arxiv.org/abs/2203.03279v1
- Date: Mon, 7 Mar 2022 10:51:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-08 23:27:31.320978
- Title: Evaluating State of the Art, Forecasting Ensembles- and Meta-learning
Strategies for Model Fusion
- Title(参考訳): モデル融合のためのアート, 予測アンサンブル, およびメタラーニング戦略の評価
- Authors: Pieter Cawood, Terence van Zyl
- Abstract要約: 本稿では,異なるアンサンブルに対するベースモデルのプール内での指数平滑化リカレントニューラルネットワーク(ES-RNN)の有用性について述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Techniques of hybridisation and ensemble learning are popular model fusion
techniques for improving the predictive power of forecasting methods. With
limited research that instigates combining these two promising approaches, this
paper focuses on the utility of the Exponential-Smoothing-Recurrent Neural
Network (ES-RNN) in the pool of base models for different ensembles. We compare
against some state of the art ensembling techniques and arithmetic model
averaging as a benchmark. We experiment with the M4 forecasting data set of
100,000 time-series, and the results show that the Feature-based Forecast Model
Averaging (FFORMA), on average, is the best technique for late data fusion with
the ES-RNN. However, considering the M4's Daily subset of data, stacking was
the only successful ensemble at dealing with the case where all base model
performances are similar. Our experimental results indicate that we attain
state of the art forecasting results compared to N-BEATS as a benchmark. We
conclude that model averaging is a more robust ensemble than model selection
and stacking strategies. Further, the results show that gradient boosting is
superior for implementing ensemble learning strategies.
- Abstract(参考訳): ハイブリダイゼーションとアンサンブル学習のテクニックは、予測手法の予測力を向上させるために人気のあるモデル融合技術である。
この2つの有望なアプローチを組み合わせるための限られた研究により、異なるアンサンブルのためのベースモデルのプールにおける指数型スムーシング・リカレントニューラルネットワーク(es-rnn)の有用性に焦点を当てた。
ベンチマークとして平均化手法と算術モデルを比較した。
我々は,10万の時系列のM4予測データセットを用いて実験を行い,特徴に基づく予測モデル平均化(FFORMA)がES-RNNとの遅延データ融合に最適であることを示す。
しかし、M4のデイリー・サブセットを考えると、すべてのベースモデルのパフォーマンスが類似しているケースを扱う上で唯一成功したアンサンブルであった。
実験の結果,N-BEATSをベンチマークとして比較すると,アート予測の結果が得られた。
モデル平均化はモデル選択や積み重ね戦略よりも堅牢なアンサンブルであると結論付けている。
さらに,アンサンブル学習戦略の実装において,勾配向上が優れていることを示す。
関連論文リスト
- Infinite forecast combinations based on Dirichlet process [9.326879672480413]
本稿では,ディリクレ過程に基づく深層学習アンサンブル予測モデルを提案する。
単一のベンチマークモデルに比べて予測精度と安定性が大幅に向上している。
論文 参考訳(メタデータ) (2023-11-21T06:41:41Z) - Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。
我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文 参考訳(メタデータ) (2023-08-10T08:43:20Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Late Meta-learning Fusion Using Representation Learning for Time Series
Forecasting [0.0]
本研究は,これらの話題を包含する統合分類法を提案する。
この研究は、いくつかのモデル融合アプローチと、Deep-learning Forecast Model Averaging (DeFORMA)と呼ばれるハイブリッドおよび特徴積み重ねアルゴリズムの新たな組み合わせを実証的に評価した。
提案したモデルであるDeFORMAは、M4データセットで最先端の結果を得ることができる。
論文 参考訳(メタデータ) (2023-03-20T10:29:42Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳(メタデータ) (2022-06-26T16:00:22Z) - Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。
本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。
損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
論文 参考訳(メタデータ) (2022-05-22T16:37:53Z) - Conceptually Diverse Base Model Selection for Meta-Learners in Concept
Drifting Data Streams [3.0938904602244355]
本稿では,基礎となる部分空間間の主アングル(PA)を用いて計算したベースモデルの概念的類似性を推定するための新しいアプローチを提案する。
オンライン・トランスファー・ラーニング(TL)の文脈における共通アンサンブル・プルーニング・メトリクス、すなわち予測性能と相互情報(MI)を用いた閾値付けに対するこれらの手法の評価を行った。
その結果、概念的類似度閾値は計算オーバーヘッドを低減し、予測性能とMIを用いて閾値に匹敵する予測性能が得られることがわかった。
論文 参考訳(メタデータ) (2021-11-29T13:18:53Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳(メタデータ) (2021-10-07T11:58:35Z) - Optimal Ensemble Construction for Multi-Study Prediction with
Applications to COVID-19 Excess Mortality Estimation [7.02598981483736]
マルチスタディ・アンサンブルは、研究固有のモデルに適合し、アンサンブル重みを別々に推定する2段階戦略を用いる。
このアプローチは、モデル適合段階でのアンサンブル特性を無視し、効率を損なう可能性がある。
パンデミックの開始前にはほとんどデータが入手できない場合、他の国のデータを活用することで、予測精度が大幅に向上することを示した。
論文 参考訳(メタデータ) (2021-09-19T16:52:41Z) - An Accurate and Fully-Automated Ensemble Model for Weekly Time Series
Forecasting [9.617563440471928]
本稿では,最先端の予測技術を活用した予測手法を提案する。
異なるメタ学習アーキテクチャ、アルゴリズム、ベースモデルプールについて検討する。
提案手法は、一連のベンチマークと最先端の週次予測モデルより一貫して優れている。
論文 参考訳(メタデータ) (2020-10-16T04:29:09Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2020-10-12T03:27:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。