論文の概要: A Mathematical Programming Approach to Optimal Classification Forests

• arxiv url: http://arxiv.org/abs/2211.10502v3
• Date: Fri, 29 Nov 2024 12:48:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:15:21.404059
• Title: A Mathematical Programming Approach to Optimal Classification Forests
• Title（参考訳）: 最適分類林への数学的プログラミング手法
• Authors: Víctor Blanco, Alberto Japón, Justo Puerto, Peter Zhang,
• Abstract要約: 本稿では,WOCF(Weighted Optimal Classification Forests)を紹介する。 WOCFは決定木の最適なアンサンブルを利用して、正確かつ解釈可能な分類器を導出する。 全体として、OCFはCART、最適分類木、ランダムフォレスト、XGBoostといった既存のメソッドを補完する。
• 参考スコア（独自算出の注目度）: 1.0499611180329806
• License:
• Abstract: This paper introduces Weighted Optimal Classification Forests (WOCFs), a new family of classifiers that takes advantage of an optimal ensemble of decision trees to derive accurate and interpretable classifiers. We propose a novel mathematical optimization-based methodology which simultaneously constructs a given number of trees, each of them providing a predicted class for the observations in the feature space. The classification rule is derived by assigning to each observation its most frequently predicted class among the trees. We provide a mixed integer linear programming formulation (MIP) for the problem and several novel MIP strengthening / scaling techniques. We report the results of our computational experiments, from which we conclude that our method has equal or superior performance compared with state-of-the-art tree-based classification methods for small to medium-sized instances. We also present three real-world case studies showing that our methodology has very interesting implications in terms of interpretability. Overall, WOCFs complement existing methods such as CART, Optimal Classification Trees, Random Forests and XGBoost. In addition to its Pareto improvement on accuracy and interpretability, we also see unique properties emerging in terms of different trees focusing on different feature variables. This provides nontrivial improvement in interpretability and usability of the trained model in terms of counterfactual explanation. Thus, despite the apparent computational challenge of WOCFs that limit the size of the problems that can be efficiently solved with current MIP, this is an important research direction that can lead to qualitatively different insights for researchers and complement the toolbox of practitioners for high stakes problems.
• Abstract（参考訳）: 本稿では, 決定木の最適なアンサンブルを利用して, 正確かつ解釈可能な分類器を導出する, 新しい分類器群であるWOCFを紹介した。 与えられた木を同時に構築し,それぞれが特徴空間における観測の予測クラスを提供する,数学的最適化に基づく新しい手法を提案する。 分類規則は、木の中で最も頻繁に予測されるクラスをそれぞれの観察に割り当てることによって導かれる。 この問題に対する混合整数線形プログラミング定式化(MIP)と、新しいMIP強化/スケーリング技術について述べる。 本研究の結果から,本手法は,小型・中型インスタンスを対象とした木質分類法と比較して,同等あるいは優れた性能を示すと結論付けた。 また,本手法が解釈可能性に関して非常に興味深い意味を持っていることを示す実世界のケーススタディを3つ提示する。 全体として、OCFはCART、最適分類木、ランダムフォレスト、XGBoostといった既存のメソッドを補完する。 精度と解釈可能性に関するParetoの改善に加えて、異なる特徴変数に焦点をあてた異なる木の観点から、ユニークな性質が出現する。 これは、非現実的な説明の観点から、トレーニングされたモデルの解釈可能性とユーザビリティを非自明に改善する。 したがって、現在のMIPで効率的に解ける問題のサイズを制限するWACFの明らかな計算課題にもかかわらず、これは研究者にとって質的に異なる洞察を導き、高い利害問題に対する実践者のツールボックスを補完する重要な研究方向である。

関連論文リスト

• Enriched Functional Tree-Based Classifiers: A Novel Approach Leveraging Derivatives and Geometric Features [0.0]
  本研究では,高次元時系列の分類手法として,関数型データ分析(FDA)と木に基づくアンサンブル技術を統合した教師付き分類手法を提案する。
  論文  参考訳（メタデータ） (2024-09-26T12:57:47Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Multiclass Optimal Classification Trees with SVM-splits [1.5039745292757671]
  本稿では, 木型分類規則を多クラスインスタンスに対して構築するための, 数学的最適化に基づく新しい手法を提案する。 提案手法は,葉ノードを除いて,ラベルを一時的に取り除き,SVMで超平面を分離して2つのクラスに分類する分類木の構築から成り立っている。
  論文  参考訳（メタデータ） (2021-11-16T18:15:56Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Strong Optimal Classification Trees [8.10995244893652]
  最適二分分類木を学習するための直感的なフローベースMIO定式化を提案する。 我々の定式化は、解釈可能かつ公平な決定木の設計を可能にするために、サイド制約を満たすことができる。 提案手法は最先端MIO技術よりも29倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-03-29T21:40:58Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)
• Learning Optimal Classification Trees: Strong Max-Flow Formulations [8.10995244893652]
  線形プログラミングの緩和を強くした最適二分分類木に対するフローベースMIP定式化を提案する。 我々はこの構造と最大フロー/最小カットの双対性を利用してベンダーズ分解法を導出する。
  論文  参考訳（メタデータ） (2020-02-21T05:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。