論文の概要: Optimal or Greedy Decision Trees? Revisiting their Objectives, Tuning, and Performance

• arxiv url: http://arxiv.org/abs/2409.12788v1
• Date: Thu, 19 Sep 2024 13:55:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 13:23:33.596551
• Title: Optimal or Greedy Decision Trees? Revisiting their Objectives, Tuning, and Performance
• Title（参考訳）: 最適な決定木? 目的、チューニング、パフォーマンスを再考する
• Authors: Jacobus G. M. van der Linden, Daniël Vos, Mathijs M. de Weerdt, Sicco Verwer, Emir Demirović,
• Abstract要約: 近年,精度を直接最適化する最適決定木 (ODT) 手法への関心が高まっている。 我々は,ODTの比較的探索されていない2つの側面を同定する。 最適手法の値は、文献が矛盾する結果をもたらすため、まだ十分に理解されていない。
• 参考スコア（独自算出の注目度）: 9.274054218991528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision trees are traditionally trained using greedy heuristics that locally optimize an impurity or information metric. Recently there has been a surge of interest in optimal decision tree (ODT) methods that globally optimize accuracy directly. We identify two relatively unexplored aspects of ODTs: the objective function used in training trees and tuning techniques. Additionally, the value of optimal methods is not well understood yet, as the literature provides conflicting results, with some demonstrating superior out-of-sample performance of ODTs over greedy approaches, while others show the exact opposite. In this paper, we address these three questions: what objective to optimize in ODTs; how to tune ODTs; and how do optimal and greedy methods compare? Our experimental evaluation examines 13 objective functions, including four novel objectives resulting from our analysis, seven tuning methods, and six claims from the literature on optimal and greedy methods on 165 real and synthetic data sets. Through our analysis, both conceptually and experimentally, we discover new non-concave objectives, highlight the importance of proper tuning, support and refute several claims from the literature, and provide clear recommendations for researchers and practitioners on the usage of greedy and optimal methods, and code for future comparisons.
• Abstract（参考訳）: 決定木は伝統的に、不純物や情報メトリクスを局所的に最適化する欲張りのヒューリスティックを使って訓練されている。 近年,精度を直接最適化する最適決定木 (ODT) 手法への関心が高まっている。 我々は,ODTの比較的探索されていない2つの側面を同定する。 さらに、最適手法の価値はまだよく理解されていないが、文献では矛盾する結果が得られており、ODTの非サンプル性能がグリーディアプローチよりも優れていることを示すものもあれば、正反対を示すものもある。 本稿では、ODTにおける最適化の目的、ODTのチューニング方法、最適メソッドと欲求メソッドの比較方法、の3つの疑問に対処する。 実験により,本分析から得られた4つの新たな目的,7つのチューニング手法,および165個の実・合成データセット上での最適および欲求的手法に関する文献からの6つの主張を含む,13の目的関数について検討した。 我々は,概念的にも実験的にも,新しい非接触目標を発見し,適切なチューニングの重要性を強調し,文献からのいくつかの主張を補足し,反論し,研究者や実践者に対して,欲求的かつ最適な方法の使用に関する明確な勧告と今後の比較のためのコードを提供する。

関連論文リスト

• Preference learning made easy: Everything should be understood through win rate [25.849945888898997]
  本研究は、ペアワイズ選好データのサンプリングから始まる選好学習を理解するための枠組みを提案する。 まず、データ分布における嗜好と有病率の両方を尊重する生成モデルの唯一の評価が、勝利率の一形態であることを示す。 次に、選好学習手法を、勝利率最適化(WRO)または非WROとして分析する。
  論文  参考訳（メタデータ） (2025-02-14T19:01:34Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• Calibrating LLMs with Preference Optimization on Thought Trees for Generating Rationale in Science Question Scoring [16.38771834692938]
  より忠実な論理を生成できる新しいフレームワークを提案し、さらに重要なことに、ブラックボックススコアリングシステムと性能をマッチングする。 まず,Large Language Models (LLM) をクエリして思考木を生成することで,人間の評価プロセスを模倣する。 次に、各思考木経路から中間的評価決定を要約し、合成的合理性データと合理性選好データを作成する。
  論文  参考訳（メタデータ） (2024-06-28T14:33:05Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Stochastic Optimization Forests [60.523606291705214]
  標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。 概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T16:56:06Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Descending through a Crowded Valley - Benchmarking Deep Learning Optimizers [29.624308090226375]
  本研究は,これらの逸話を,少なくとも証拠に裏付けられた逸話に置き換えることを目的としている。 そのために、特に人気のある15のディープラーニングの、広範囲で標準化されたベンチマークを実行します。 我々のオープンソースの成果は、新しい最適化手法のより有意義な評価のために、挑戦的でよく調整されたベースラインとして利用可能である。
  論文  参考訳（メタデータ） (2020-07-03T08:19:36Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。