論文の概要: Generalized Optimal Classification Trees: A Mixed-Integer Programming Approach
- arxiv url: http://arxiv.org/abs/2602.02173v1
- Date: Mon, 02 Feb 2026 14:46:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:34.223147
- Title: Generalized Optimal Classification Trees: A Mixed-Integer Programming Approach
- Title(参考訳): 一般化最適分類木:混合整数計画法
- Authors: Jiancheng Tu, Wenqi Fan, Zhibin Wu,
- Abstract要約: 混合整数プログラミング(MIP)は高度なモデリングの柔軟性を提供する。
非線形性能指標に基づく最適分類木学習のためのMIPベースのフレームワークを提案する。
提案手法を50のベンチマークデータセットで評価した。
- 参考スコア(独自算出の注目度): 17.725629133949955
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Global optimization of decision trees is a long-standing challenge in combinatorial optimization, yet such models play an important role in interpretable machine learning. Although the problem has been investigated for several decades, only recent advances in discrete optimization have enabled practical algorithms for solving optimal classification tree problems on real-world datasets. Mixed-integer programming (MIP) offers a high degree of modeling flexibility, and we therefore propose a MIP-based framework for learning optimal classification trees under nonlinear performance metrics, such as the F1-score, that explicitly addresses class imbalance. To improve scalability, we develop problem-specific acceleration techniques, including a tailored branch-and-cut algorithm, an instance-reduction scheme, and warm-start strategies. We evaluate the proposed approach on 50 benchmark datasets. The computational results show that the framework can efficiently optimize nonlinear metrics while achieving strong predictive performance and reduced solution times compared with existing methods.
- Abstract(参考訳): 決定木をグローバルに最適化することは、組合せ最適化における長年の課題であるが、そのようなモデルは、解釈可能な機械学習において重要な役割を果たす。
この問題は数十年にわたって研究されてきたが、離散最適化の最近の進歩によって、実世界のデータセット上で最適な分類木問題を解決するための実用的なアルゴリズムが実現された。
MIP(Mixed-integer Programming)はモデリングの柔軟性が高く,F1スコアのような非線形性能指標の下で最適な分類木を学習するためのMIPベースのフレームワークを提案する。
拡張性を向上させるため, 分岐・カットアルゴリズム, インスタンス・リダクション方式, ウォームスタート方式など, 問題固有の高速化手法を開発した。
提案手法を50のベンチマークデータセットで評価した。
計算結果から,従来の手法と比較して高い予測性能と解時間削減を実現しつつ,非線形メトリクスを効率的に最適化できることが示唆された。
関連論文リスト
- Principled Algorithms for Optimizing Generalized Metrics in Binary Classification [53.604375124674796]
一般化されたメトリクスを最適化するアルゴリズムを導入し、$H$-consistency と finite-sample generalization bounds をサポートする。
提案手法は,メトリクス最適化を一般化したコスト依存学習問題として再検討する。
我々は,理論性能を保証する新しいアルゴリズムMETROを開発した。
論文 参考訳(メタデータ) (2025-12-29T01:33:42Z) - Learning to optimize with guarantees: a complete characterization of linearly convergent algorithms [1.4747234049753448]
高度な工学的応用では、最適化アルゴリズムは数学的に定義された問題のクラスよりも証明可能な証明可能なケースを保証する必要がある。
非滑らかな合成最適化問題のクラスに対して線形収束を実現するアルゴリズムのクラスを記述する。
論文 参考訳(メタデータ) (2025-08-01T16:56:42Z) - Constrained Hybrid Metaheuristic Algorithm for Probabilistic Neural Networks Learning [0.3686808512438362]
本研究では、確率論的ニューラルネットワーク(PNN)のトレーニングを強化するためのハイブリッドメタヒューリスティックアルゴリズムの可能性について検討する。
勾配に基づくアプローチのような伝統的な学習手法は、しばしば高次元で不確実な環境を最適化するのに苦労する。
本稿では,複数の個体群に基づく最適化手法を組み合わせた制約付きハイブリッドメタヒューリスティック(cHM)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-01-26T19:49:16Z) - Learning to optimize with convergence guarantees using nonlinear system theory [0.4143603294943439]
本研究では,スムーズな目的関数に対するアルゴリズムの非制約パラメトリゼーションを提案する。
特に、私たちのフレームワークは自動微分ツールと直接互換性があります。
論文 参考訳(メタデータ) (2024-03-14T13:40:26Z) - Efficient Convex Algorithms for Universal Kernel Learning [46.573275307034336]
カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。
従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。
本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-15T04:57:37Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳(メタデータ) (2022-07-02T16:59:37Z) - Meta Learning Black-Box Population-Based Optimizers [0.0]
人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。
メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
論文 参考訳(メタデータ) (2021-03-05T08:13:25Z) - Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
様々な目的に対して最適な決定木を生成する手法を提案する。
また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
論文 参考訳(メタデータ) (2020-06-15T19:00:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。