論文の概要: Margin Optimal Classification Trees

• arxiv url: http://arxiv.org/abs/2210.10567v1
• Date: Wed, 19 Oct 2022 14:08:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 15:39:33.435201
• Title: Margin Optimal Classification Trees
• Title（参考訳）: マージン最適分類木
• Authors: Federico D'Onofrio, Giorgio Grani, Marta Monaci and Laura Palagi
• Abstract要約: 最適分類木(OCT)問題に対する新しい混合整数定式化法を提案する。 我々のモデルは、Margin Optimal Classification Tree (MARGOT)と呼ばれ、バイナリ分類のためのSupport Vector Machinesの一般化機能を利用する。 提案手法の解釈可能性を高めるため,超平面の局所的疎結合を誘導する特徴選択制約を含む2種類のMARGOTを解析した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years there has been growing attention to interpretable machine learning models which can give explanatory insights on their behavior. Thanks to their interpretability, decision trees have been intensively studied for classification tasks, and due to the remarkable advances in mixed-integer programming (MIP), various approaches have been proposed to formulate the problem of training an Optimal Classification Tree (OCT) as a MIP model. We present a novel mixed-integer quadratic formulation for the OCT problem, which exploits the generalization capabilities of Support Vector Machines for binary classification. Our model, denoted as Margin Optimal Classification Tree (MARGOT), encompasses the use of maximum margin multivariate hyperplanes nested in a binary tree structure. To enhance the interpretability of our approach, we analyse two alternative versions of MARGOT, which include feature selection constraints inducing local sparsity of the hyperplanes. First, MARGOT has been tested on non-linearly separable synthetic datasets in 2-dimensional feature space to provide a graphical representation of the maximum margin approach. Finally, the proposed models have been tested on benchmark datasets from the UCI repository. The MARGOT formulation turns out to be easier to solve than other OCT approaches, and the generated tree better generalizes on new observations. The two interpretable versions are effective in selecting the most relevant features and maintaining good prediction quality.
• Abstract（参考訳）: 近年,解釈可能な機械学習モデルに注目が集まっている。 その解釈可能性により、決定木は分類タスクのために集中的に研究され、混合整数プログラミング(MIP)の顕著な進歩により、最適分類木(OCT)をMIPモデルとして訓練する問題を定式化するための様々なアプローチが提案されている。 そこで本研究では,2次分類のためのサポートベクトルマシンの一般化機能を活用した,oct問題の混合整数二次形式を提案する。 我々のモデルはマージン最適分類木(MARGOT)と呼ばれ、二分木構造にネストされた最大縁多変量超平面の使用を含んでいる。 提案手法の解釈可能性を高めるため,超平面の局所的疎結合を誘導する特徴選択制約を含む2種類のMARGOTを解析した。 まず、MARGOTは最大マージンアプローチのグラフィカル表現を提供するために、2次元特徴空間における非線形分離可能な合成データセットでテストされている。 最後に、提案されたモデルはuciリポジトリのベンチマークデータセットでテストされている。 MARGOT の定式化は他の OCT の手法よりも容易に解けることが判明し、生成した木は新たな観測によりより一般化される。 2つの解釈可能なバージョンは、最も関連する機能を選択し、優れた予測品質を維持するのに効果的です。

関連論文リスト

• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Optimal Mixed Integer Linear Optimization Trained Multivariate Classification Trees [0.0]
  最適二分分類木を設計するための2つのカットベース混合整数線形最適化(MILO)法を提案する。 我々のモデルは、最小限の実用不可能なサブシステム(MIS)をオンザフライで識別し、パッケージング制約の形をとる切断平面を導出する。
  論文  参考訳（メタデータ） (2024-08-02T14:37:28Z)
• Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
  本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。 クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。 このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
  論文  参考訳（メタデータ） (2023-05-24T11:05:12Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Mixed integer linear optimization formulations for learning optimal binary classification trees [0.0]
  最適二分分類木を設計するための4つの混合整数線形最適化(MILO)法を提案する。 モデルをスケールする能力を示すために、13の公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2022-06-10T03:10:14Z)
• Multiclass Optimal Classification Trees with SVM-splits [1.5039745292757671]
  本稿では, 木型分類規則を多クラスインスタンスに対して構築するための, 数学的最適化に基づく新しい手法を提案する。 提案手法は,葉ノードを除いて,ラベルを一時的に取り除き,SVMで超平面を分離して2つのクラスに分類する分類木の構築から成り立っている。
  論文  参考訳（メタデータ） (2021-11-16T18:15:56Z)
• Strong Optimal Classification Trees [8.10995244893652]
  最適二分分類木を学習するための直感的なフローベースMIO定式化を提案する。 我々の定式化は、解釈可能かつ公平な決定木の設計を可能にするために、サイド制約を満たすことができる。 提案手法は最先端MIO技術よりも29倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-03-29T21:40:58Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Robust Optimal Classification Trees under Noisy Labels [1.5039745292757671]
  本稿では,学習サンプルにノイズラベルが存在することを考慮し,最適な分類木を構築するための新しい手法を提案する。 本手法は,(1)SVMのパラダイムを適用したクラス間の分離マージンを最大化するために,分類木の分割ルールを設計し,(2)ラベルノイズを検知しようとする木の構築中に,トレーニングサンプルのラベルを変更することを許している。
  論文  参考訳（メタデータ） (2020-12-15T19:12:29Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• ENTMOOT: A Framework for Optimization over Ensemble Tree Models [57.98561336670884]
  ENTMOOTは、ツリーモデルをより大きな最適化問題に統合するためのフレームワークである。 ENTMOOTは、ツリーモデルの意思決定とブラックボックス最適化への単純な統合を可能にしていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T14:34:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。