論文の概要: Multi-Objective Optimization of Performance and Interpretability of
Tabular Supervised Machine Learning Models
- arxiv url: http://arxiv.org/abs/2307.08175v1
- Date: Mon, 17 Jul 2023 00:07:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 15:14:04.466130
- Title: Multi-Objective Optimization of Performance and Interpretability of
Tabular Supervised Machine Learning Models
- Title（参考訳）: 表層教師付き機械学習モデルの性能と解釈性の多目的最適化
- Authors: Lennart Schneider, Bernd Bischl, Janek Thomas
- Abstract要約: 解釈可能性の定量化には、特徴の空間性、特徴の相互作用の空間性、非単調な特徴効果の空間性という3つの尺度がある。
我々のフレームワークは、非常に競争力のあるモデルや、最先端のXGBoostやExplainable Boosting Machineモデルよりも優れたモデルを見つけることができることを示す。
- 参考スコア（独自算出の注目度）: 0.9023847175654603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a model-agnostic framework for jointly optimizing the predictive
performance and interpretability of supervised machine learning models for
tabular data. Interpretability is quantified via three measures: feature
sparsity, interaction sparsity of features, and sparsity of non-monotone
feature effects. By treating hyperparameter optimization of a machine learning
algorithm as a multi-objective optimization problem, our framework allows for
generating diverse models that trade off high performance and ease of
interpretability in a single optimization run. Efficient optimization is
achieved via augmentation of the search space of the learning algorithm by
incorporating feature selection, interaction and monotonicity constraints into
the hyperparameter search space. We demonstrate that the optimization problem
effectively translates to finding the Pareto optimal set of groups of selected
features that are allowed to interact in a model, along with finding their
optimal monotonicity constraints and optimal hyperparameters of the learning
algorithm itself. We then introduce a novel evolutionary algorithm that can
operate efficiently on this augmented search space. In benchmark experiments,
we show that our framework is capable of finding diverse models that are highly
competitive or outperform state-of-the-art XGBoost or Explainable Boosting
Machine models, both with respect to performance and interpretability.
- Abstract（参考訳）: 本稿では,教師付き機械学習モデルの予測性能と解釈性を共同で最適化するモデル非依存フレームワークを提案する。
解釈性は、特徴スパース性、特徴の相互作用スパース性、非単調特徴効果のスパース性という3つの尺度によって定量化される。
機械学習アルゴリズムのハイパーパラメータ最適化を多目的最適化問題として扱うことにより,単一最適化実行で高い性能と解釈の容易さをトレードオフする多様なモデルを生成することができる。
超パラメータ探索空間に特徴選択、相互作用、単調性制約を組み込むことにより、学習アルゴリズムの探索空間の強化により効率的な最適化を実現する。
最適化問題は,最適単調性制約と学習アルゴリズム自体の最適ハイパーパラメータの発見とともに,モデル内での相互作用を許容する選択された特徴群のパレート最適集合の発見に有効であることを示す。
次に,この拡張探索空間上で効率的に動作可能な新しい進化アルゴリズムを提案する。
ベンチマーク実験において,我々のフレームワークは,性能と解釈可能性の両面において,最先端のXGBoostや説明可能なブースティングマシンモデルよりも優れた,高い競争力を持つ多様なモデルを見つけることができることを示した。
関連論文リスト
- Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and
Optimization [59.386153202037086]
Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。
本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T01:32:06Z) - Agent-based Collaborative Random Search for Hyper-parameter Tuning and
Global Function Optimization [0.0]
本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。
提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
論文 参考訳（メタデータ） (2023-03-03T21:10:17Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-02T16:59:37Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Explainable Landscape Analysis in Automated Algorithm Performance
Prediction [0.0]
自動アルゴリズムの性能予測において,異なる教師付き機械学習モデルによって活用される問題景観の特徴の表現性について検討する。
教師付きML回帰モデルでは,問題ランドスケープの特徴が異なるため,教師付きML手法の選択が重要であることを実験的に指摘した。
論文 参考訳（メタデータ） (2022-03-22T15:54:17Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-01-27T21:38:53Z) - Meta Learning Black-Box Population-Based Optimizers [0.0]
人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。
メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
論文 参考訳（メタデータ） (2021-03-05T08:13:25Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳（メタデータ） (2020-12-10T03:24:53Z) - Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。
レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文 参考訳（メタデータ） (2020-08-02T02:56:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。