論文の概要: Optimizing model-agnostic Random Subspace ensembles
- arxiv url: http://arxiv.org/abs/2109.03099v1
- Date: Tue, 7 Sep 2021 13:58:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-08 18:32:42.595823
- Title: Optimizing model-agnostic Random Subspace ensembles
- Title（参考訳）: モデル非依存なランダム部分空間アンサンブルの最適化
- Authors: V\^an Anh Huynh-Thu and Pierre Geurts
- Abstract要約: 教師あり学習のためのモデルに依存しないアンサンブルアプローチを提案する。
提案手法は、ランダム部分空間アプローチのパラメトリックバージョンを用いてモデルのアンサンブルを学習することとを交互に行う。
シミュレーションおよび実世界のデータセット上で,予測と特徴ランキングの両面で,提案手法の優れた性能を示す。
- 参考スコア（独自算出の注目度）: 5.680512932725364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a model-agnostic ensemble approach for supervised
learning. The proposed approach alternates between (1) learning an ensemble of
models using a parametric version of the Random Subspace approach, in which
feature subsets are sampled according to Bernoulli distributions, and (2)
identifying the parameters of the Bernoulli distributions that minimize the
generalization error of the ensemble model. Parameter optimization is rendered
tractable by using an importance sampling approach able to estimate the
expected model output for any given parameter set, without the need to learn
new models. While the degree of randomization is controlled by a
hyper-parameter in standard Random Subspace, it has the advantage to be
automatically tuned in our parametric version. Furthermore, model-agnostic
feature importance scores can be easily derived from the trained ensemble
model. We show the good performance of the proposed approach, both in terms of
prediction and feature ranking, on simulated and real-world datasets. We also
show that our approach can be successfully used for the reconstruction of gene
regulatory networks.
- Abstract（参考訳）: 本稿では,教師付き学習のためのモデル非依存アンサンブル手法を提案する。
提案手法は,(1)ランダム部分空間アプローチのパラメトリックバージョンを用いてモデルのアンサンブルを学習すること,(2)ベルヌーイ分布に従って特徴部分集合をサンプリングすること,(2)アンサンブルモデルの一般化誤差を最小化するベルヌーイ分布のパラメータを同定することとを代替する。
パラメータ最適化は、新しいモデルを学ぶことなく、任意のパラメータセットに対して期待されるモデル出力を推定できる重要サンプリングアプローチを用いて、抽出可能である。
ランダム化の度合いは標準ランダム部分空間のハイパーパラメータによって制御されるが、パラメトリックバージョンで自動的に調整される利点がある。
さらに、モデル非依存の特徴重要度スコアは、訓練されたアンサンブルモデルから容易に導出することができる。
シミュレーションおよび実世界のデータセット上で,予測と特徴ランキングの両面で,提案手法の優れた性能を示す。
また,本手法が遺伝子制御ネットワークの再構築に有効であることを示す。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Variational autoencoder with weighted samples for high-dimensional
non-parametric adaptive importance sampling [0.0]
既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。
モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。
提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
論文 参考訳（メタデータ） (2023-10-13T15:40:55Z) - Joint Bayesian Inference of Graphical Structure and Parameters with a
Single Generative Flow Network [59.79008107609297]
本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。
サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。
パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
論文 参考訳（メタデータ） (2023-05-30T19:16:44Z) - Trajectory-oriented optimization of stochastic epidemiological models [0.873811641236639]
疫学モデルは下流のタスクの真理を正すために校正されなければならない。
我々は,トンプソンサンプリングに基づく最適化戦略とともに,ガウス過程(GP)のクラスを提案する。
この軌道指向最適化(TOO)アプローチは、経験的観測に近い実際の軌道を生成する。
論文 参考訳（メタデータ） (2023-05-06T04:45:49Z) - Performative Prediction with Bandit Feedback: Learning through Reparameterization [23.039885534575966]
行動予測は、データの分布自体がモデルの展開に応じて変化する社会予測を研究するためのフレームワークである。
本研究では,実行予測目標をデータ分散関数として再パラメータ化する再パラメータ化を開発する。
論文 参考訳（メタデータ） (2023-05-01T21:31:29Z) - Hierarchical Collaborative Hyper-parameter Tuning [0.0]
ハイパーパラメータチューニングは、機械学習ソリューションを構築する上で最も重要なステージのひとつだ。
本稿では,マルチエージェントシステムを用いて近似値を決定する分散手法を提案する。
論文 参考訳（メタデータ） (2022-05-11T05:16:57Z) - Learning Structured Gaussians to Approximate Deep Ensembles [10.055143995729415]
本稿では,スパース構造多変量ガウシアンを用いて,高密度画像予測タスクのための閉形式近似器を提案する。
正規分布における予測の不確かさと構造的相関を、サンプリング単独で暗黙的にではなく、明示的に捉える。
単分子深度推定におけるアプローチの利点を実証し,本手法の利点が同等の定量的性能で得られることを示す。
論文 参考訳（メタデータ） (2022-03-29T12:34:43Z) - MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood
Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。
あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。
モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文 参考訳（メタデータ） (2021-06-03T12:59:16Z) - Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。
また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
論文 参考訳（メタデータ） (2021-02-08T20:08:50Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳（メタデータ） (2020-07-11T19:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。