論文の概要: Optimally Weighted Ensembles of Regression Models: Exact Weight Optimization and Applications

• arxiv url: http://arxiv.org/abs/2206.11263v1
• Date: Wed, 22 Jun 2022 09:11:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-25 04:24:15.331699
• Title: Optimally Weighted Ensembles of Regression Models: Exact Weight Optimization and Applications
• Title（参考訳）: 回帰モデルの最適重み付けアンサンブル:厳密な重み最適化とその応用
• Authors: Patrick Echtenbruck, Martina Echtenbruck, Joost Batenburg, Thomas B\"ack, Boris Naujoks, Michael Emmerich
• Abstract要約: 異なる回帰モデルを組み合わせることで、単一の(ベストな)回帰モデルを選択するよりも良い結果が得られることを示す。 不均一回帰モデルから最適重み付き線形結合を求める効率的な手法を概説する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated model selection is often proposed to users to choose which machine learning model (or method) to apply to a given regression task. In this paper, we show that combining different regression models can yield better results than selecting a single ('best') regression model, and outline an efficient method that obtains optimally weighted convex linear combination from a heterogeneous set of regression models. More specifically, in this paper, a heuristic weight optimization, used in a preceding conference paper, is replaced by an exact optimization algorithm using convex quadratic programming. We prove convexity of the quadratic programming formulation for the straightforward formulation and for a formulation with weighted data points. The novel weight optimization is not only (more) exact but also more efficient. The methods we develop in this paper are implemented and made available via github-open source. They can be executed on commonly available hardware and offer a transparent and easy to interpret interface. The results indicate that the approach outperforms model selection methods on a range of data sets, including data sets with mixed variable type from drug discovery applications.
• Abstract（参考訳）: 自動モデル選択は、ユーザーが与えられた回帰タスクに適用する機械学習モデル(または方法)を選択するためにしばしば提案される。 本稿では,異なる回帰モデルの組み合わせにより,単一('ベスト')回帰モデルよりもよい結果が得られることを示すとともに,不均質な回帰モデルから最適重み付き凸線形結合を得る効率的な手法を概説する。 具体的には,前回の論文で用いたヒューリスティックな重み最適化を,凸二次計画法を用いて正確に最適化するアルゴリズムに置き換える。 直観的定式化と重み付きデータ点を持つ定式化に対する二次計画定式化の凸性を証明する。 新たな重量最適化は(より)正確であるだけでなく、より効率的である。 本論文で開発する手法はgithub-open sourceで実装・利用可能である。 一般に利用可能なハードウェア上で実行でき、透過的で容易にインターフェイスを解釈できる。 その結果,本手法は薬物発見アプリケーションからの混合変数型データセットを含む,さまざまなデータセットにおけるモデル選択法よりも優れていた。

関連論文リスト

• Efficient Optimization Algorithms for Linear Adversarial Training [9.933836677441684]
  逆行訓練は摂動に対して堅牢なモデルを学ぶのに使える。 本稿では,線形モデルの対数学習のための最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-16T15:41:08Z)
• Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
  適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。 ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2～10%向上させる。
  論文  参考訳（メタデータ） (2024-02-02T16:35:51Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• A Consistent and Scalable Algorithm for Best Subset Selection in Single Index Models [1.3236116985407258]
  高次元モデルにおける最良の部分集合選択は、計算的に難解であることが知られている。 我々は,高次元SIMにおける最良部分選択のための,証明可能な最初の拡張性アルゴリズムを提案する。 アルゴリズムは部分集合選択の一貫性を保ち、高い確率でオラクル特性を持つ。
  論文  参考訳（メタデータ） (2023-09-12T13:48:06Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• A model-free feature selection technique of feature screening and random forest based recursive feature elimination [0.0]
  質量特徴を持つ超高次元データのモデルフリー特徴選択法を提案する。 提案手法は選択整合性を示し, 弱正則条件下では$L$整合性を示す。
  論文  参考訳（メタデータ） (2023-02-15T03:39:16Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Personalizing Performance Regression Models to Black-Box Optimization Problems [0.755972004983746]
  本研究では,数値最適化問題に対するパーソナライズされた回帰手法を提案する。 また、問題毎に1つの回帰モデルを選択するのではなく、パーソナライズされたアンサンブルを選択することの影響についても検討する。 本稿では,BBOBベンチマークコレクション上での数値最適化性能の予測について検討する。
  論文  参考訳（メタデータ） (2021-04-22T11:47:47Z)
• MINA: Convex Mixed-Integer Programming for Non-Rigid Shape Alignment [77.38594866794429]
  非剛体形状マッチングのための凸混合整数プログラミングの定式化。 効率的な低次元離散モデルに基づく新しい形状変形モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-28T09:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。