論文の概要: Infinite forecast combinations based on Dirichlet process

• arxiv url: http://arxiv.org/abs/2311.12379v1
• Date: Tue, 21 Nov 2023 06:41:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 01:55:46.025230
• Title: Infinite forecast combinations based on Dirichlet process
• Title（参考訳）: ディリクレ過程に基づく無限予測組合せ
• Authors: Yinuo Ren and Feng Li and Yanfei Kang
• Abstract要約: 本稿では,ディリクレ過程に基づく深層学習アンサンブル予測モデルを提案する。 単一のベンチマークモデルに比べて予測精度と安定性が大幅に向上している。
• 参考スコア（独自算出の注目度）: 3.4549564194010087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forecast combination integrates information from various sources by consolidating multiple forecast results from the target time series. Instead of the need to select a single optimal forecasting model, this paper introduces a deep learning ensemble forecasting model based on the Dirichlet process. Initially, the learning rate is sampled with three basis distributions as hyperparameters to convert the infinite mixture into a finite one. All checkpoints are collected to establish a deep learning sub-model pool, and weight adjustment and diversity strategies are developed during the combination process. The main advantage of this method is its ability to generate the required base learners through a single training process, utilizing the decaying strategy to tackle the challenge posed by the stochastic nature of gradient descent in determining the optimal learning rate. To ensure the method's generalizability and competitiveness, this paper conducts an empirical analysis using the weekly dataset from the M4 competition and explores sensitivity to the number of models to be combined. The results demonstrate that the ensemble model proposed offers substantial improvements in prediction accuracy and stability compared to a single benchmark model.
• Abstract（参考訳）: 予測組み合わせは、ターゲット時系列から複数の予測結果を統合することにより、様々なソースからの情報を統合する。 本稿では,1つの最適予測モデルを選択するのではなく,ディリクレプロセスに基づく深層学習アンサンブル予測モデルを提案する。 当初、学習速度は3つの基底分布をハイパーパラメータとしてサンプリングし、無限混合を有限分布に変換する。 全てのチェックポイントを収集し、深層学習サブモデルプールを構築し、組み合わせプロセス中に重量調整と多様性戦略を開発する。 この方法の主な利点は、1つの訓練プロセスを通じて必要なベース学習者を生成する能力であり、最適な学習率を決定する際に勾配降下の確率的性質によって生じる課題に取り組むために減衰戦略を利用する。 本論文は,本手法の汎用性と競争性を確保するため,M4コンペティションの週毎データセットを用いて実験分析を行い,組み合わせるべきモデル数に対する感度について検討する。 その結果,単一ベンチマークモデルと比較して,アンサンブルモデルでは予測精度と安定性が大幅に向上した。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Optimizing accuracy and diversity: a multi-task approach to forecast combinations [0.0]
  両問題を同時に解くことに焦点を当てたマルチタスク最適化パラダイムを提案する。 標準的な機能ベースの予測アプローチに、さらなる学習と最適化のタスクが組み込まれている。 提案手法は,特徴に基づく予測において,多様性の本質的な役割を引き出すものである。
  論文  参考訳（メタデータ） (2023-10-31T15:26:33Z)
• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Evaluating State of the Art, Forecasting Ensembles- and Meta-learning Strategies for Model Fusion [0.0]
  本稿では,異なるアンサンブルに対するベースモデルのプール内での指数平滑化リカレントニューラルネットワーク(ES-RNN)の有用性について述べる。
  論文  参考訳（メタデータ） (2022-03-07T10:51:40Z)
• Ensembles of Randomized NNs for Pattern-based Time Series Forecasting [0.0]
  本稿では,ランダム化ニューラルネットワークに基づくアンサンブル予測手法を提案する。 時系列のパターンに基づく表現は、複数の季節の時系列を予測するのに適している。 4つの実世界の予測問題に対するケーススタディにより,提案手法の有効性と性能が検証された。
  論文  参考訳（メタデータ） (2021-07-08T20:13:50Z)
• An Extended Multi-Model Regression Approach for Compressive Strength Prediction and Optimization of a Concrete Mixture [0.0]
  コンクリートの圧縮強度のモデルに基づく評価は, 強度予測と混合最適化の両方のために高い値である。 複数の回帰手法の重み付け組み合わせにより予測モデルの精度を向上させるためのさらなる一歩を踏み出す。 得られた多回帰モデルに基づいてGAに基づく混合最適化を提案する。
  論文  参考訳（メタデータ） (2021-06-13T16:10:32Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。