論文の概要: Theoretical Guarantees of Learning Ensembling Strategies with Applications to Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2305.15786v1
• Date: Thu, 25 May 2023 07:01:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 16:45:33.935784
• Title: Theoretical Guarantees of Learning Ensembling Strategies with Applications to Time Series Forecasting
• Title（参考訳）: 学習感覚戦略の理論的保証と時系列予測への応用
• Authors: Hilaf Hasson, Danielle C. Maddix, Yuyang Wang, Gaurav Gupta, Youngsuk Park
• Abstract要約: クロスバリデード性能に基づく(有限あるいは有限次元の)積み重ね一般化の族から最高の積み重ね一般化を選択すると、オラクルの最高値よりも「はるかに悪い」結果が得られないことを示す。 理論的解析から着想を得て,確率的予測の文脈において,階層化された一般化の特定のファミリーを提案する。
• 参考スコア（独自算出の注目度）: 12.04097076765171
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensembling is among the most popular tools in machine learning (ML) due to its effectiveness in minimizing variance and thus improving generalization. Most ensembling methods for black-box base learners fall under the umbrella of "stacked generalization," namely training an ML algorithm that takes the inferences from the base learners as input. While stacking has been widely applied in practice, its theoretical properties are poorly understood. In this paper, we prove a novel result, showing that choosing the best stacked generalization from a (finite or finite-dimensional) family of stacked generalizations based on cross-validated performance does not perform "much worse" than the oracle best. Our result strengthens and significantly extends the results in Van der Laan et al. (2007). Inspired by the theoretical analysis, we further propose a particular family of stacked generalizations in the context of probabilistic forecasting, each one with a different sensitivity for how much the ensemble weights are allowed to vary across items, timestamps in the forecast horizon, and quantiles. Experimental results demonstrate the performance gain of the proposed method.
• Abstract（参考訳）: 機械学習(ML)では、分散を最小化し、一般化を改善する効果があるため、組み立ては最も一般的なツールである。 ブラックボックスベース学習者のためのほとんどのアンサンブル手法は、ベース学習者からの推論を入力として取り込むMLアルゴリズムを訓練する"スタック一般化"の傘の下に置かれる。 積み重ねは実際には広く適用されているが、理論的性質はよく分かっていない。 本稿では, クロスバリデード性能に基づく(有限あるいは有限次元の)重ね合わせ一般化系から, 最良の積み重ね一般化を選択すると, オラクルの最高値よりも「はるかに悪い」結果が得られないことを示す。 我々の結果は、van der laan et al. (2007) の結果を強化し、大幅に拡張する。 理論解析に着想を得て,確率的予測の文脈において,アンサンブル重みがどの程度異なるか,予測地平線におけるタイムスタンプ,および量子化に対して異なる感度を持つ,積み重ね一般化の特定のファミリーを提案する。 実験結果は,提案手法の性能向上を示す。

関連論文リスト

• Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
  既存の一般化誤差境界は負の例の数$k$に線形に依存する。 対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
  論文  参考訳（メタデータ） (2023-02-24T01:03:56Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [72.81201024831603]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 以前の研究は個々のモデルを個別に訓練し、アンサンブルはポストホックを実行した。 アンサンブル損失の合同最適化は、退化挙動をもたらす。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Synergies Between Disentanglement and Sparsity: a Multi-Task Learning Perspective [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• The Benchmark Lottery [114.43978017484893]
  ベンチマーク宝くじ」は、機械学習ベンチマークプロセスの全体的な脆弱さを記述している。 アルゴリズムの相対的性能は、異なるベンチマークタスクを選択するだけで大幅に変化する可能性がある。
  論文  参考訳（メタデータ） (2021-07-14T21:08:30Z)
• Learning Stochastic Majority Votes by Minimizing a PAC-Bayes Generalization Bound [15.557653926558638]
  分類器の有限アンサンブルに対する多数票の対について検討し、その一般化特性について検討する。 ディリクレ分布でインスタンス化し、予測されるリスクに対して閉じた形式と微分可能な表現を可能にする。 結果の多数決学習アルゴリズムは、最先端の精度と(非空きな)厳密な境界から恩恵を得る。
  論文  参考訳（メタデータ） (2021-06-23T16:57:23Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Beyond variance reduction: Understanding the true impact of baselines on policy optimization [24.09670734037029]
  学習力学は損失関数の曲率と勾配推定の雑音によって制御されることを示す。 我々は,少なくとも包帯問題では,曲率や雑音が学習力学を説明するのに十分でないことを示す理論的結果を示す。
  論文  参考訳（メタデータ） (2020-08-31T17:52:09Z)
• Density Fixing: Simple yet Effective Regularization Method based on the Class Prior [2.3859169601259347]
  本稿では,教師付き・半教師付き学習によく用いられる密度固定法という正規化手法の枠組みを提案する。 提案手法は,モデルの事前分布や発生頻度を近似させることで,一般化性能を向上させる。
  論文  参考訳（メタデータ） (2020-07-08T04:58:22Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。