論文の概要: Context-Aware Ensemble Learning for Time Series
- arxiv url: http://arxiv.org/abs/2211.16884v1
- Date: Wed, 30 Nov 2022 10:36:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 17:35:19.800351
- Title: Context-Aware Ensemble Learning for Time Series
- Title（参考訳）: 時系列の文脈認識型アンサンブル学習
- Authors: Arda Fazla, Mustafa Enes Aydin, Orhun Tamyigit, Suleyman Serdar Kozat
- Abstract要約: 本稿では,ベースモデルの特徴ベクトルの結合である特徴のスーパーセットを用いて,ベースモデル予測を効果的に組み合わせたメタ学習手法を提案する。
我々のモデルは、ベースモデルの予測を機械学習アルゴリズムの入力として使用するのではなく、問題の状態に基づいて各時点における最良の組み合わせを選択する。
- 参考スコア（独自算出の注目度）: 11.716677452529114
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate ensemble methods for prediction in an online setting. Unlike
all the literature in ensembling, for the first time, we introduce a new
approach using a meta learner that effectively combines the base model
predictions via using a superset of the features that is the union of the base
models' feature vectors instead of the predictions themselves. Here, our model
does not use the predictions of the base models as inputs to a machine learning
algorithm, but choose the best possible combination at each time step based on
the state of the problem. We explore three different constraint spaces for the
ensembling of the base learners that linearly combines the base predictions,
which are convex combinations where the components of the ensembling vector are
all nonnegative and sum up to 1; affine combinations where the weight vector
components are required to sum up to 1; and the unconstrained combinations
where the components are free to take any real value. The constraints are both
theoretically analyzed under known statistics and integrated into the learning
procedure of the meta learner as a part of the optimization in an automated
manner. To show the practical efficiency of the proposed method, we employ a
gradient-boosted decision tree and a multi-layer perceptron separately as the
meta learners. Our framework is generic so that one can use other machine
learning architectures as the ensembler as long as they allow for a custom
differentiable loss for minimization. We demonstrate the learning behavior of
our algorithm on synthetic data and the significant performance improvements
over the conventional methods over various real life datasets, extensively used
in the well-known data competitions. Furthermore, we openly share the source
code of the proposed method to facilitate further research and comparison.
- Abstract（参考訳）: オンライン環境での予測のためのアンサンブル手法について検討する。
すべてのensemblingの文献とは異なり、我々は初めて、ベースモデルの予測を、予測自身ではなく、ベースモデルの特徴ベクトルの結合である特徴のスーパーセットを用いて効果的に結合するメタ学習器を用いた新しいアプローチを導入する。
ここでは,ベースモデルの予測を機械学習アルゴリズムの入力として使用せず,問題の状態に基づいて各時間ステップで最良の組み合わせを選択する。
基本学習者のアンサンブルを線形に結合する3つの異なる制約空間を探索する。これは、アンサンブルベクトルの成分がすべて非負で和が1となる凸結合であり、重みベクトル成分が1にまとめる必要のあるアフィン結合と、その成分が任意の実値を取る自由な非制約結合である。
制約は、既知の統計の下で理論的に解析され、自動的な最適化の一部としてメタ学習者の学習手順に統合される。
提案手法の実用性を示すため,メタ学習者として,勾配ブースト決定木と多層パーセプトロンを別々に用いた。
私たちのフレームワークは汎用的であるため、最小化のためにカスタマイズ可能な損失を許容できる限り、他の機械学習アーキテクチャをアンサンブラとして使用できる。
本稿では,合成データに対するアルゴリズムの学習挙動と,よく知られたデータコンペで広く利用されている様々な実生活データセットに対する従来の手法よりも優れた性能を示す。
さらに,提案手法のソースコードをオープンに公開し,さらなる研究と比較を容易にする。
関連論文リスト
- Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。
低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。
このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文 参考訳（メタデータ） (2024-10-06T15:25:39Z) - Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。
我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。
そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
論文 参考訳（メタデータ） (2024-08-06T03:42:38Z) - Proof of Swarm Based Ensemble Learning for Federated Learning
Applications [3.2536767864585663]
連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。
ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。
フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
論文 参考訳（メタデータ） (2022-12-28T13:53:34Z) - Heterogeneous Ensemble Learning for Enhanced Crash Forecasts -- A
Frequentest and Machine Learning based Stacking Framework [0.803552105641624]
本研究では,都市および郊外の5車線未分割セグメント(5T)の衝突頻度をモデル化するために,重要なHEM手法の1つ,スタックリングを適用した。
Stackingの予測性能は、パラメトリック統計モデル(Poissonと負二項法)と機械学習技術の3つの状態(決定木、ランダム森林、勾配上昇)と比較される。
論文 参考訳（メタデータ） (2022-07-21T19:15:53Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Mixed-Integer Optimization with Constraint Learning [4.462264781248437]
我々は、学習制約を伴う混合整数最適化のための幅広い方法論基盤を確立する。
我々は多くの機械学習手法の混合整数最適化・表現性を利用する。
本手法は,World Food Programme計画と化学療法最適化の両方で実証する。
論文 参考訳（メタデータ） (2021-11-04T20:19:55Z) - Optimal Ensemble Construction for Multi-Study Prediction with
Applications to COVID-19 Excess Mortality Estimation [7.02598981483736]
マルチスタディ・アンサンブルは、研究固有のモデルに適合し、アンサンブル重みを別々に推定する2段階戦略を用いる。
このアプローチは、モデル適合段階でのアンサンブル特性を無視し、効率を損なう可能性がある。
パンデミックの開始前にはほとんどデータが入手できない場合、他の国のデータを活用することで、予測精度が大幅に向上することを示した。
論文 参考訳（メタデータ） (2021-09-19T16:52:41Z) - Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。
提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
論文 参考訳（メタデータ） (2021-05-23T19:21:55Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - StackGenVis: Alignment of Data, Algorithms, and Models for Stacking Ensemble Learning Using Performance Metrics [4.237343083490243]
機械学習(ML)では、バッグング、ブースティング、スタックングといったアンサンブル手法が広く確立されている。
StackGenVisは、スタック化された一般化のためのビジュアル分析システムである。
論文 参考訳（メタデータ） (2020-05-04T15:43:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。