論文の概要: Interpretable Ensembles of Hyper-Rectangles as Base Models
- arxiv url: http://arxiv.org/abs/2303.08625v1
- Date: Wed, 15 Mar 2023 13:50:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 13:30:43.584216
- Title: Interpretable Ensembles of Hyper-Rectangles as Base Models
- Title(参考訳): 基底モデルとしてのハイパー矩形の解釈可能なアンサンブル
- Authors: Andrei V. Konstantinov and Lev V. Utkin
- Abstract要約: ベースモデル(HRBM)として一様に生成された軸並列超矩形を持つアンサンブルモデルを提案する。
勾配昇降機(GBM)にHRBMを組み込むことが提案されている。
- 参考スコア(独自算出の注目度): 5.482532589225552
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A new extremely simple ensemble-based model with the uniformly generated
axis-parallel hyper-rectangles as base models (HRBM) is proposed. Two types of
HRBMs are studied: closed rectangles and corners. The main idea behind HRBM is
to consider and count training examples inside and outside each rectangle. It
is proposed to incorporate HRBMs into the gradient boosting machine (GBM).
Despite simplicity of HRBMs, it turns out that these simple base models allow
us to construct effective ensemble-based models and avoid overfitting. A simple
method for calculating optimal regularization parameters of the ensemble-based
model, which can be modified in the explicit way at each iteration of GBM, is
considered. Moreover, a new regularization called the "step height penalty" is
studied in addition to the standard L1 and L2 regularizations. An extremely
simple approach to the proposed ensemble-based model prediction interpretation
by using the well-known method SHAP is proposed. It is shown that GBM with HRBM
can be regarded as a model extending a set of interpretable models for
explaining black-box models. Numerical experiments with real datasets
illustrate the proposed GBM with HRBMs for regression and classification
problems. Experiments also illustrate computational efficiency of the proposed
SHAP modifications. The code of proposed algorithms implementing GBM with HRBM
is publicly available.
- Abstract(参考訳): 基本モデル (hrbm) として一様生成する軸平行超矩形を持つ超単純アンサンブルモデルを提案する。
HRBMは、閉じた矩形と角の2種類が研究されている。
HRBMの背景にある主な考え方は、各矩形内外のトレーニング例を考慮し数えることである。
HRBMを勾配押し上げ機(GBM)に組み込むことが提案されている。
HRBMの単純さにもかかわらず、これらの単純なベースモデルによって、効果的なアンサンブルベースのモデルを構築し、過度な適合を避けることができることがわかった。
GBMの各イテレーションで明示的な方法で修正できるアンサンブルベースモデルの最適正規化パラメータを計算するための簡単な方法を考える。
さらに、標準L1およびL2正規化に加えて、「ステップハイトペナルティ」と呼ばれる新たな正規化が研究されている。
良く知られた手法であるshapを用いたアンサンブルに基づくモデル予測解釈に対する極めて単純なアプローチを提案する。
HRBMを用いたGBMは,ブラックボックスモデルを説明するための解釈可能なモデルのセットを拡張するモデルであると考えられる。
実データセットを用いた数値実験では、回帰問題と分類問題のためのHRBMを用いたGBMを提案する。
実験では、提案したSHAP修正の計算効率も説明できる。
GBMをHRBMで実装するアルゴリズムのコードも公開されている。
関連論文リスト
- Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。
元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。
我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文 参考訳(メタデータ) (2023-02-08T07:37:51Z) - Git Re-Basin: Merging Models modulo Permutation Symmetries [3.5450828190071655]
提案手法は,大規模ネットワークに適合する簡単なアルゴリズムを実例で示す。
我々は、独立に訓練されたモデル間のゼロモード接続の最初のデモ(私たちの知る限り)を実演する。
また、線形モード接続仮説の欠点についても論じる。
論文 参考訳(メタデータ) (2022-09-11T10:44:27Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Exponential Family Model-Based Reinforcement Learning via Score Matching [97.31477125728844]
有限水平表層強化学習(RL)のための楽観的モデルベースアルゴリズムSMRLを提案する。
SMRLは、リッジ回帰によるモデルパラメータの効率的な推定を可能にする非正規化密度推定手法であるスコアマッチングを用いる。
論文 参考訳(メタデータ) (2021-12-28T15:51:07Z) - Spike-and-Slab Generalized Additive Models and Scalable Algorithms for
High-Dimensional Data [0.0]
本稿では,高次元データに対応するため,階層型一般化加法モデル(GAM)を提案する。
曲線の適切な縮退と滑らか化関数線型空間と非線形空間の分離に対する平滑化ペナルティを考察する。
2つの決定論的アルゴリズム、EM-Coordinate Descent と EM-Iterative Weighted Least Squares は異なるユーティリティ向けに開発された。
論文 参考訳(メタデータ) (2021-10-27T14:11:13Z) - Optimizing model-agnostic Random Subspace ensembles [5.680512932725364]
教師あり学習のためのモデルに依存しないアンサンブルアプローチを提案する。
提案手法は、ランダム部分空間アプローチのパラメトリックバージョンを用いてモデルのアンサンブルを学習することとを交互に行う。
シミュレーションおよび実世界のデータセット上で,予測と特徴ランキングの両面で,提案手法の優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-07T13:58:23Z) - Community Detection in the Stochastic Block Model by Mixed Integer
Programming [3.8073142980733]
Degree-Corrected Block Model (DCSBM) は、コミュニティ構造を持つランダムグラフを生成する一般的なモデルである。
DCSBMに基づくコミュニティ検出の標準的なアプローチは、最大推定(MLE)により観測されたネットワークデータを生成する可能性が最も高いモデルパラメータを探索することである。
本稿では,モデルパラメータと最大確率のコミュニティ割当を観測グラフから確実に求める数学的計画式と厳密解法を提案する。
論文 参考訳(メタデータ) (2021-01-26T22:04:40Z) - Scaling Hidden Markov Language Models [118.55908381553056]
この研究は、HMMを言語モデリングデータセットに拡張するという課題を再考する。
本研究では,HMMを大規模状態空間に拡張する手法を提案する。
論文 参考訳(メタデータ) (2020-11-09T18:51:55Z) - Interpretable Machine Learning with an Ensemble of Gradient Boosting
Machines [5.482532589225552]
勾配昇降機(GBM)のアンサンブルを用いた手法
合成および実データセットに提案手法を実装したアルゴリズムを用いた数値実験は、局所的および大域的解釈の効率性と特性を実証する。
論文 参考訳(メタデータ) (2020-10-14T20:18:40Z) - Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。
解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。
一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文 参考訳(メタデータ) (2020-05-06T01:51:30Z) - Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める
近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。
両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
論文 参考訳(メタデータ) (2020-03-30T08:40:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。