論文の概要: Multi-Armed Bandits-Based Optimization of Decision Trees

• arxiv url: http://arxiv.org/abs/2508.05957v1
• Date: Fri, 08 Aug 2025 02:43:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 20:39:06.053567
• Title: Multi-Armed Bandits-Based Optimization of Decision Trees
• Title（参考訳）: 多要素帯域幅に基づく決定木の最適化
• Authors: Hasibul Karim Shanto, Umme Ayman Koana, Shadikur Rahman,
• Abstract要約: 本稿では,マルチアーマッドバンド (MAB) に基づくプルーニング手法,強化学習 (RL) に基づく手法を提案する。 そこで我々はMABアルゴリズムを用いて各プルーニング動作からのフィードバックに基づいて最適な分岐ノードを見つける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decision trees, without appropriate constraints, can easily become overly complex and prone to overfit, capturing noise rather than generalizable patterns. To resolve this problem,pruning operation is a crucial part in optimizing decision trees, as it not only reduces the complexity of trees but also decreases the probability of generating overfit models. The conventional pruning techniques like Cost-Complexity Pruning (CCP) and Reduced Error Pruning (REP) are mostly based on greedy approaches that focus on immediate gains in performance while pruning nodes of the decision tree. However, this might result in a lower generalization in the long run, compromising the robust ability of the tree model when introduced to unseen data samples, particularly when trained with small and complex datasets. To address this challenge, we are proposing a Multi-Armed Bandits (MAB)-based pruning approach, a reinforcement learning (RL)-based technique, that will dynamically prune the tree to generate an optimal decision tree with better generalization. Our proposed approach assumes the pruning process as an exploration-exploitation problem, where we are utilizing the MAB algorithms to find optimal branch nodes to prune based on feedback from each pruning actions. Experimental evaluation on several benchmark datasets, demonstrated that our proposed approach results in better predictive performance compared to the traditional ones. This suggests the potential of utilizing MAB for a dynamic and probabilistic way of decision tree pruning, in turn optimizing the decision tree-based model.
• Abstract（参考訳）: 適切な制約のない決定木は、過度に複雑になり、過度に適合する傾向があり、一般化可能なパターンよりもノイズを捕捉する。 この問題を解決するため,決定木を最適化する上で,探索操作は決定木の複雑さを低減させるだけでなく,過度に適合するモデルを生成する可能性を低減するため,決定木を最適化する上で重要である。 CCP(Cost-Complexity Pruning)やReduceed Error Pruning(Reduceed Error Pruning)といった従来のプルーニング手法は主に、決定木のノードをプルーニングしながら、パフォーマンスの即時的な向上に焦点をあてた欲求的なアプローチに基づいている。 しかし、これは長期的には低い一般化をもたらす可能性があり、特に小規模で複雑なデータセットでトレーニングされた場合、目に見えないデータサンプルに導入された場合、ツリーモデルの堅牢性を損なう可能性がある。 この課題に対処するため、我々はマルチアーマッド・バンド(MAB)ベースのプルーニング手法、強化学習(RL)ベースの手法を提案する。 そこで我々はMABアルゴリズムを用いて各プルーニング動作からのフィードバックに基づいて最適な分岐ノードを見つける。 実験により,提案手法は従来のベンチマークモデルよりも予測性能がよいことを示した。 このことは、MABを動的かつ確率的な決定木刈りの方法として活用し、決定木ベースモデルを最適化する可能性を示唆している。

関連論文リスト

• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• Learning accurate and interpretable tree-based models [27.203303726977616]
  我々は、同じドメインからデータに繰り返しアクセスする木に基づく学習アルゴリズムを設計するためのアプローチを開発する。 本稿では,よく使われるエントロピーとジニ不純物に基づく基準を補間するトップダウンアルゴリズムにおいて,ノード分割基準の新しいパラメータ化クラスを提案する。 我々は、ランダムな森林や傾斜した木など、一般的な木に基づくアンサンブルのチューニングに結果を拡張した。
  論文  参考訳（メタデータ） (2024-05-24T20:10:10Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• Breiman meets Bellman: Non-Greedy Decision Trees with MDPs [8.530182510074983]
  我々は、欲求と最適なアプローチのギャップを埋めるフレームワークDPDT(Dynamic Programming Decision Trees)を提案する。 DPDTはマルコフ決定プロセスの定式化と分割生成を組み合わせ、ほぼ最適決定木を構築する。 実験の結果,DPDTは既存の最適解法よりも桁違いに少ない演算でほぼ最適損失を達成できた。
  論文  参考訳（メタデータ） (2023-09-22T08:18:08Z)
• bsnsing: A decision tree induction method based on recursive optimal boolean rule composition [2.28438857884398]
  本稿では,決定木帰納過程における分割規則選択を最適化するMIP(Mixed-integer Programming)の定式化を提案する。 商用の解法よりも高速に実例を解くことができる効率的な探索解法を開発した。
  論文  参考訳（メタデータ） (2022-05-30T17:13:57Z)
• Robust Optimal Classification Trees Against Adversarial Examples [5.254093731341154]
  本稿では,ユーザが特定した攻撃モデルに対して最適に堅牢な決定木を訓練する手法の集合を提案する。 逆学習において生じるmin-max最適化問題は、単一最小化定式化を用いて解くことができることを示す。 また,両部マッチングを用いた任意のモデルに対して,上界の対角精度を決定する手法を提案する。
  論文  参考訳（メタデータ） (2021-09-08T18:10:49Z)
• Convex Polytope Trees [57.56078843831244]
  コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。 木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
  論文  参考訳（メタデータ） (2020-10-21T19:38:57Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。