論文の概要: A novel gradient-based method for decision trees optimizing arbitrary differential loss functions

• arxiv url: http://arxiv.org/abs/2503.17855v1
• Date: Sat, 22 Mar 2025 20:25:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:39:01.959153
• Title: A novel gradient-based method for decision trees optimizing arbitrary differential loss functions
• Title（参考訳）: 任意の差分損失関数を最適化する決定木の新しい勾配法
• Authors: Andrei V. Konstantinov, Lev V. Utkin,
• Abstract要約: 本研究では、任意の微分可微分損失関数を最適化する勾配に基づく決定木を構築する新しい手法を提案する。 本手法の分類・回帰・生存分析への適用性を示す。 この方法の実装は公開されており、研究者や実践者に実用的なツールを提供している。
• 参考スコア（独自算出の注目度）: 2.4861619769660637
• License:
• Abstract: There are many approaches for training decision trees. This work introduces a novel gradient-based method for constructing decision trees that optimize arbitrary differentiable loss functions, overcoming the limitations of heuristic splitting rules. Unlike traditional approaches that rely on heuristic splitting rules, the proposed method refines predictions using the first and second derivatives of the loss function, enabling the optimization of complex tasks such as classification, regression, and survival analysis. We demonstrate the method's applicability to classification, regression, and survival analysis tasks, including those with censored data. Numerical experiments on both real and synthetic datasets compare the proposed method with traditional decision tree algorithms, such as CART, Extremely Randomized Trees, and SurvTree. The implementation of the method is publicly available, providing a practical tool for researchers and practitioners. This work advances the field of decision tree-based modeling, offering a more flexible and accurate approach for handling structured data and complex tasks. By leveraging gradient-based optimization, the proposed method bridges the gap between traditional decision trees and modern machine learning techniques, paving the way for further innovations in interpretable and high-performing models.
• Abstract（参考訳）: 決定木を訓練するための多くのアプローチがある。 この研究は、任意の微分可能な損失関数を最適化し、ヒューリスティックな分割規則の限界を克服する決定木を構築するための、新しい勾配に基づく手法を導入する。 ヒューリスティックな分割規則に依存する従来の手法とは異なり、提案手法は損失関数の第1および第2微分を用いて予測を洗練し、分類、回帰、生存分析といった複雑なタスクの最適化を可能にする。 検閲されたデータを含む分類・回帰・生存分析タスクに対する手法の適用性を示す。 CART, Extremely Randomized Trees, SurvTreeなどの従来の決定木アルゴリズムと比較した。 この方法の実装は公開されており、研究者や実践者に実用的なツールを提供している。 この作業は決定木に基づくモデリングの分野を前進させ、構造化データや複雑なタスクを扱うためのより柔軟で正確なアプローチを提供する。 勾配に基づく最適化を利用することで、従来の決定木と現代の機械学習技術とのギャップを埋め、解釈可能な高パフォーマンスモデルにおけるさらなる革新の道を開く。

関連論文リスト

• Learning accurate and interpretable decision trees [27.203303726977616]
  我々は、同じドメインから繰り返しデータにアクセスして決定木学習アルゴリズムを設計するためのアプローチを開発する。 本研究では,ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し,その結果を決定木回帰に拡張する。 また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-24T20:10:10Z)
• Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and Optimization [59.386153202037086]
  Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。 本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:32:06Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Robust Optimal Classification Trees Against Adversarial Examples [5.254093731341154]
  本稿では,ユーザが特定した攻撃モデルに対して最適に堅牢な決定木を訓練する手法の集合を提案する。 逆学習において生じるmin-max最適化問題は、単一最小化定式化を用いて解くことができることを示す。 また,両部マッチングを用いた任意のモデルに対して,上界の対角精度を決定する手法を提案する。
  論文  参考訳（メタデータ） (2021-09-08T18:10:49Z)
• Genetic Adversarial Training of Decision Trees [6.85316573653194]
  遺伝的アルゴリズムに基づく決定木のアンサンブルに関する新しい学習手法を提案し、その精度と敵対的な摂動に対する堅牢性を最大化するための決定木を訓練することができる。 本アルゴリズムをMeta-Silvae (MS) というツールに実装し, 対人訓練に用いる参照データセットを用いて実験的に評価した。
  論文  参考訳（メタデータ） (2020-12-21T14:05:57Z)
• Stochastic Optimization Forests [60.523606291705214]
  標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。 概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T16:56:06Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)
• Evolutionary algorithms for constructing an ensemble of decision trees [0.0]
  本稿では,進化的アルゴリズムに基づく決定木とそのアンサンブルの誘導法を提案する。 我々のアプローチの主な違いは、決定木の実値ベクトル表現を使うことである。 いくつかの公開UCIデータセットを用いて,本手法の予測性能を検証した。
  論文  参考訳（メタデータ） (2020-02-03T13:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。