論文の概要: Better Short than Greedy: Interpretable Models through Optimal Rule Boosting

• arxiv url: http://arxiv.org/abs/2101.08380v1
• Date: Thu, 21 Jan 2021 01:03:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 07:53:18.726270
• Title: Better Short than Greedy: Interpretable Models through Optimal Rule Boosting
• Title（参考訳）: Greedyよりも短い - 最適ルールブースティングによる解釈可能なモデル
• Authors: Mario Boley and Simon Teshuva and Pierre Le Bodic and Geoffrey I Webb
• Abstract要約: ルールアンサンブルは、予測精度とモデル解釈可能性の間の有用なトレードオフを提供するように設計されている。 与えられたアンサンブルサイズに対して最大予測力の規則アンサンブルを適合させる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 10.938624307941197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rule ensembles are designed to provide a useful trade-off between predictive accuracy and model interpretability. However, the myopic and random search components of current rule ensemble methods can compromise this goal: they often need more rules than necessary to reach a certain accuracy level or can even outright fail to accurately model a distribution that can actually be described well with a few rules. Here, we present a novel approach aiming to fit rule ensembles of maximal predictive power for a given ensemble size (and thus model comprehensibility). In particular, we present an efficient branch-and-bound algorithm that optimally solves the per-rule objective function of the popular second-order gradient boosting framework. Our main insight is that the boosting objective can be tightly bounded in linear time of the number of covered data points. Along with an additional novel pruning technique related to rule redundancy, this leads to a computationally feasible approach for boosting optimal rules that, as we demonstrate on a wide range of common benchmark problems, consistently outperforms the predictive performance of boosting greedy rules.
• Abstract（参考訳）: ルールアンサンブルは、予測精度とモデル解釈可能性の間の有用なトレードオフを提供するように設計されている。 しかし、現在のルールアンサンブルの筋力とランダムな検索コンポーネントは、特定の精度レベルに達するために必要以上のルールを必要とする場合や、いくつかのルールで実際にうまく記述できる分布を正確にモデル化できない場合など、この目標を克服することができる。 本稿では,与えられたアンサンブルサイズに対する最大予測パワーの規則アンサンブル(従ってモデル理解可能性)を適合させることを目的とした新しいアプローチを提案する。 特に,人気のある二階勾配ブースティングフレームワークのルール毎の目的関数を最適に解く効率的な分岐・境界アルゴリズムを提案する。 我々の主な洞察は、対象とするデータポイントの数を線形時間で厳密に拘束できるということである。 ルール冗長性に関連する新たなプルーニング技術とともに、この手法は最適なルールを推し進めるための計算可能なアプローチをもたらし、幅広い共通ベンチマーク問題で示されるように、グレディルールを推し進めるという予測性能を一貫して上回る。

関連論文リスト

• Orthogonal Gradient Boosting for Simpler Additive Rule Ensembles [10.40809014729148]
  予測規則のグラディエント向上は、潜在的に解釈可能で正確な確率モデルを学ぶための効率的なアプローチである。 本稿では, リスク勾配ベクトルと条件出力ベクトルの射影との角度を, 既に選択された条件の補数に対して測定する方法を示す。 このアプローチは、リスク勾配自体をモデルに追加する理想的な更新を正しく近似し、より一般的でより短いルールを含めることを好んでいる。
  論文  参考訳（メタデータ） (2024-02-24T02:29:10Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Obtaining Explainable Classification Models using Distributionally Robust Optimization [12.511155426574563]
  特徴値規則の集合を用いて構築した一般化線形モデルについて検討する。 ルールセットの間隔と予測精度の間には、固有のトレードオフが存在する。 我々はこれらの競合する要因に同時に対処するルールセットの集合を学習するための新しい定式化を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:45:34Z)
• CGXplain: Rule-Based Deep Neural Network Explanations Using Dual Linear Programs [4.632241550169363]
  ルールベースサロゲートモデルは、ディープニューラルネットワーク(DNN)決定境界を近似する有効な方法である。 本稿では,これらの制約に対処するCGX(Column Generation eXplainer)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:16:26Z)
• Towards Target Sequential Rules [52.4562332499155]
  ターゲット・シーケンシャル・ルール・マイニング(TaSRM)と呼ばれる効率的なアルゴリズムを提案する。 新たなアルゴリズムであるTaSRMとその変種は,既存のベースラインアルゴリズムと比較して実験性能がよいことを示す。
  論文  参考訳（メタデータ） (2022-06-09T18:59:54Z)
• Bayes Point Rule Set Learning [5.065947993017157]
  解釈可能性は、機械学習アルゴリズムの設計においてますます重要な役割を担っている。 可分正規形式は、規則の集合を表現する最も解釈可能な方法である。 本稿では、DNF型ルールセットを学習するために、FIND-Sアルゴリズムの効果的なボトムアップ拡張を提案する。
  論文  参考訳（メタデータ） (2022-04-11T16:50:41Z)
• Fast Feature Selection with Fairness Constraints [49.142308856826396]
  モデル構築における最適特徴の選択に関する基礎的問題について検討する。 この問題は、greedyアルゴリズムの変種を使用しても、大規模なデータセットで計算的に困難である。 適応クエリモデルは,最近提案された非モジュラー関数に対する直交整合探索のより高速なパラダイムに拡張する。 提案アルゴリズムは、適応型クエリモデルにおいて指数関数的に高速な並列実行を実現する。
  論文  参考訳（メタデータ） (2022-02-28T12:26:47Z)
• Interpretable and Fair Boolean Rule Sets via Column Generation [18.08486863429421]
  整数プログラムは、規則単純性のために最適に分類精度を交換するように定式化される。 公平性の設定を考慮し、分類パリティの2つの異なる尺度に関する明示的な制約を含むように定式化を拡張した。 他の公正かつ解釈可能な分類器と比較して、我々の手法は、公正性のより厳密な概念に適合する規則セットを精度の低いトレードオフで見つけることができる。
  論文  参考訳（メタデータ） (2021-11-16T13:40:28Z)
• Discovering Useful Compact Sets of Sequential Rules in a Long Sequence [57.684967309375274]
  COSSUは、小さな、意味のある一連の規則をマイニングするアルゴリズムである。 COSSUは、長いシーケンスから、関連するクローズド・シーケンシャル・ルールの集合を検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-15T18:25:18Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。