論文の概要: FIRE: An Optimization Approach for Fast Interpretable Rule Extraction

• arxiv url: http://arxiv.org/abs/2306.07432v1
• Date: Mon, 12 Jun 2023 21:27:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 15:37:21.340779
• Title: FIRE: An Optimization Approach for Fast Interpretable Rule Extraction
• Title（参考訳）: FIRE: 高速解釈可能なルール抽出のための最適化手法
• Authors: Brian Liu and Rahul Mazumder
• Abstract要約: 本稿では,ツリーアンサンブルから少数の決定ルールを抽出する最適化ベースのフレームワークであるFIRE(Fast Interpretable Rule extract)を提案する。 我々の実験では、FIREはスパースルールセットを構築する際に最先端のアンサンブルアルゴリズムより優れており、既存の手法よりも解釈可能なモデルを提供できることを示した。
• 参考スコア（独自算出の注目度）: 7.538482310185135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present FIRE, Fast Interpretable Rule Extraction, an optimization-based framework to extract a small but useful collection of decision rules from tree ensembles. FIRE selects sparse representative subsets of rules from tree ensembles, that are easy for a practitioner to examine. To further enhance the interpretability of the extracted model, FIRE encourages fusing rules during selection, so that many of the selected decision rules share common antecedents. The optimization framework utilizes a fusion regularization penalty to accomplish this, along with a non-convex sparsity-inducing penalty to aggressively select rules. Optimization problems in FIRE pose a challenge to off-the-shelf solvers due to problem scale and the non-convexity of the penalties. To address this, making use of problem-structure, we develop a specialized solver based on block coordinate descent principles; our solver performs up to 40x faster than existing solvers. We show in our experiments that FIRE outperforms state-of-the-art rule ensemble algorithms at building sparse rule sets, and can deliver more interpretable models compared to existing methods.
• Abstract（参考訳）: 木アンサンブルから小さいが有用な決定ルールの集合を抽出する最適化ベースのフレームワークであるFIRE, Fast Interpretable Rule extractを提案する。 FIREは、実践者が容易に検証できる木のアンサンブルから、ルールのスパース代表サブセットを選択する。 抽出されたモデルの解釈可能性をさらに高めるため、FIREは選択中の拡散規則を奨励し、選択された決定規則の多くは共通の先行詞を共有する。 この最適化フレームワークは、融合正規化ペナルティを利用してこれを達成し、非凸空間誘導ペナルティを積極的にルールを選択する。 FIREの最適化問題は、問題スケールと罰則の非凸性により、棚外の解法に挑戦する。 この問題に対処するため,ブロック座標導出原理に基づく特殊解法を開発し,既存の解法よりも最大40倍高速に解法を行う。 我々の実験では、FIREはスパースルールセットを構築する際に最先端のルールアンサンブルアルゴリズムより優れており、既存の手法よりも解釈可能なモデルを提供できることを示した。

関連論文リスト

• Neuro-Symbolic Rule Lists [31.085257698392354]
  NeuRulesは、識別、ルール学習、ルール順序を単一のフレームワークに統合するエンドツーエンドのトレーニング可能なモデルである。 我々は、NeuRulesがニューラルシンボリックな手法を一貫して上回り、幅広いデータセットにわたって、シンプルで複雑なルールとそれらの順序を効果的に学習していることを示す。
  論文  参考訳（メタデータ） (2024-11-10T11:10:36Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Learning Interpretable Decision Rule Sets: A Submodular Optimization Approach [12.710158664288784]
  ルール集合を学習するための部分モジュラ最適化に基づくアプローチを検討する。 我々は、部分モジュラリティを示す客観的関数を用い、従って、部分モジュラリティ最適化手法を適用可能である。
  論文  参考訳（メタデータ） (2022-06-08T07:41:47Z)
• Fast Feature Selection with Fairness Constraints [49.142308856826396]
  モデル構築における最適特徴の選択に関する基礎的問題について検討する。 この問題は、greedyアルゴリズムの変種を使用しても、大規模なデータセットで計算的に困難である。 適応クエリモデルは,最近提案された非モジュラー関数に対する直交整合探索のより高速なパラダイムに拡張する。 提案アルゴリズムは、適応型クエリモデルにおいて指数関数的に高速な並列実行を実現する。
  論文  参考訳（メタデータ） (2022-02-28T12:26:47Z)
• Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
  非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。 本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
  論文  参考訳（メタデータ） (2022-01-28T05:53:28Z)
• Interpretable and Fair Boolean Rule Sets via Column Generation [18.08486863429421]
  整数プログラムは、規則単純性のために最適に分類精度を交換するように定式化される。 公平性の設定を考慮し、分類パリティの2つの異なる尺度に関する明示的な制約を含むように定式化を拡張した。 他の公正かつ解釈可能な分類器と比較して、我々の手法は、公正性のより厳密な概念に適合する規則セットを精度の低いトレードオフで見つけることができる。
  論文  参考訳（メタデータ） (2021-11-16T13:40:28Z)
• Better Short than Greedy: Interpretable Models through Optimal Rule Boosting [10.938624307941197]
  ルールアンサンブルは、予測精度とモデル解釈可能性の間の有用なトレードオフを提供するように設計されている。 与えられたアンサンブルサイズに対して最大予測力の規則アンサンブルを適合させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-01-21T01:03:48Z)
• An Asymptotically Optimal Primal-Dual Incremental Algorithm for Contextual Linear Bandits [129.1029690825929]
  複数の次元に沿った最先端技術を改善する新しいアルゴリズムを提案する。 非文脈線形帯域の特別な場合において、学習地平線に対して最小限の最適性を確立する。
  論文  参考訳（メタデータ） (2020-10-23T09:12:47Z)
• Screening Rules and its Complexity for Active Set Identification [16.762870396299334]
  スクリーニングルールは、部分微分集合の自然特性と最適条件の組み合わせに由来することを示す。 軽微な仮定の下で、収束アルゴリズムの最適能動集合を特定するのに必要な反復数を分析する。
  論文  参考訳（メタデータ） (2020-09-06T11:10:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。