論文の概要: Better Short than Greedy: Interpretable Models through Optimal Rule Boosting

• arxiv url: http://arxiv.org/abs/2101.08380v1
• Date: Thu, 21 Jan 2021 01:03:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 07:53:18.726270
• Title: Better Short than Greedy: Interpretable Models through Optimal Rule Boosting
• Title（参考訳）: Greedyよりも短い - 最適ルールブースティングによる解釈可能なモデル
• Authors: Mario Boley and Simon Teshuva and Pierre Le Bodic and Geoffrey I Webb
• Abstract要約: ルールアンサンブルは、予測精度とモデル解釈可能性の間の有用なトレードオフを提供するように設計されている。 与えられたアンサンブルサイズに対して最大予測力の規則アンサンブルを適合させる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 10.938624307941197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rule ensembles are designed to provide a useful trade-off between predictive accuracy and model interpretability. However, the myopic and random search components of current rule ensemble methods can compromise this goal: they often need more rules than necessary to reach a certain accuracy level or can even outright fail to accurately model a distribution that can actually be described well with a few rules. Here, we present a novel approach aiming to fit rule ensembles of maximal predictive power for a given ensemble size (and thus model comprehensibility). In particular, we present an efficient branch-and-bound algorithm that optimally solves the per-rule objective function of the popular second-order gradient boosting framework. Our main insight is that the boosting objective can be tightly bounded in linear time of the number of covered data points. Along with an additional novel pruning technique related to rule redundancy, this leads to a computationally feasible approach for boosting optimal rules that, as we demonstrate on a wide range of common benchmark problems, consistently outperforms the predictive performance of boosting greedy rules.
• Abstract（参考訳）: ルールアンサンブルは、予測精度とモデル解釈可能性の間の有用なトレードオフを提供するように設計されている。 しかし、現在のルールアンサンブルの筋力とランダムな検索コンポーネントは、特定の精度レベルに達するために必要以上のルールを必要とする場合や、いくつかのルールで実際にうまく記述できる分布を正確にモデル化できない場合など、この目標を克服することができる。 本稿では,与えられたアンサンブルサイズに対する最大予測パワーの規則アンサンブル(従ってモデル理解可能性)を適合させることを目的とした新しいアプローチを提案する。 特に,人気のある二階勾配ブースティングフレームワークのルール毎の目的関数を最適に解く効率的な分岐・境界アルゴリズムを提案する。 我々の主な洞察は、対象とするデータポイントの数を線形時間で厳密に拘束できるということである。 ルール冗長性に関連する新たなプルーニング技術とともに、この手法は最適なルールを推し進めるための計算可能なアプローチをもたらし、幅広い共通ベンチマーク問題で示されるように、グレディルールを推し進めるという予測性能を一貫して上回る。

関連論文リスト

• Efficient learning of large sets of locally optimal classification rules [0.0]
  従来のルール学習アルゴリズムは、単純なルールの集合を見つけることを目的としており、各ルールは可能な限り多くの例をカバーする。 本稿では、この方法で発見されたルールは、それらがカバーする例のそれぞれに対して最適な説明ではないかもしれないと論じる。 本稿では,1つの特殊化ループと1つの一般化ループからなるグリーディ最適化において,各トレーニング例をカバーする最良のルールを見つけることを目的とした,効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-24T11:40:28Z)
• Towards Correlated Sequential Rules [4.743965372344134]
  高実用性シーケンシャルルールマイニング(HUSRM)は、結果のシーケンシャルパターンの発生を予測できる信頼度や確率を調査するために設計された。 HUSRMと呼ばれる既存のアルゴリズムは、生成されたシーケンシャルルール間の相関を無視しながら、すべての許容ルールを抽出することに制限されている。 本稿では,HUSRMに相関の概念を統合するために,CoUSR(Cocorlation High-utility Sequence Rule Minr)と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-27T17:27:23Z)
• Towards Target Sequential Rules [52.4562332499155]
  ターゲット・シーケンシャル・ルール・マイニング(TaSRM)と呼ばれる効率的なアルゴリズムを提案する。 新たなアルゴリズムであるTaSRMとその変種は,既存のベースラインアルゴリズムと比較して実験性能がよいことを示す。
  論文  参考訳（メタデータ） (2022-06-09T18:59:54Z)
• Bayes Point Rule Set Learning [5.065947993017157]
  解釈可能性は、機械学習アルゴリズムの設計においてますます重要な役割を担っている。 可分正規形式は、規則の集合を表現する最も解釈可能な方法である。 本稿では、DNF型ルールセットを学習するために、FIND-Sアルゴリズムの効果的なボトムアップ拡張を提案する。
  論文  参考訳（メタデータ） (2022-04-11T16:50:41Z)
• Fast Feature Selection with Fairness Constraints [49.142308856826396]
  モデル構築における最適特徴の選択に関する基礎的問題について検討する。 この問題は、greedyアルゴリズムの変種を使用しても、大規模なデータセットで計算的に困難である。 適応クエリモデルは,最近提案された非モジュラー関数に対する直交整合探索のより高速なパラダイムに拡張する。 提案アルゴリズムは、適応型クエリモデルにおいて指数関数的に高速な並列実行を実現する。
  論文  参考訳（メタデータ） (2022-02-28T12:26:47Z)
• Interpretable and Fair Boolean Rule Sets via Column Generation [15.694930039900234]
  本稿では,直交正規形 (DNF, OR-of-ANDs) と直交正規形 (CNF, AND-of-ORs) のいずれにおいてもブール規則の学習を解釈可能な分類モデルとして考察する。 整数プログラムは、規則単純性のために最適に分類精度を交換するように定式化される。
  論文  参考訳（メタデータ） (2021-11-16T13:40:28Z)
• Discovering Useful Compact Sets of Sequential Rules in a Long Sequence [57.684967309375274]
  COSSUは、小さな、意味のある一連の規則をマイニングするアルゴリズムである。 COSSUは、長いシーケンスから、関連するクローズド・シーケンシャル・ルールの集合を検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-15T18:25:18Z)
• Near-Optimal High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。 クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Diverse Rule Sets [20.170305081348328]
  ルールベースのシステムは、直感的なif-then表現のためにルネッサンスを経験しています。 本稿では,ルール間の重なり合いを最適化することで,多様なルールセットを推定する新しい手法を提案する。 次に、高い差別性を持ち、重複が少ない規則をサンプリングする効率的なランダム化アルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-06-17T14:15:25Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。