論文の概要: Optimal or Greedy Decision Trees? Revisiting their Objectives, Tuning, and Performance

• arxiv url: http://arxiv.org/abs/2409.12788v2
• Date: Tue, 01 Apr 2025 15:35:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-02 14:11:54.683258
• Title: Optimal or Greedy Decision Trees? Revisiting their Objectives, Tuning, and Performance
• Title（参考訳）: 最適な決定木? 目的、チューニング、パフォーマンスを再考する
• Authors: Jacobus G. M. van der Linden, Daniël Vos, Mathijs M. de Weerdt, Sicco Verwer, Emir Demirović,
• Abstract要約: 我々は,ODTの比較的探索されていない2つの側面を同定し,解析する。 実験により,180個の実・合成データセット上での最適および欲求的手法について,11の目的関数,6つのチューニング手法,および文献からの6つのクレームについて検討した。
• 参考スコア（独自算出の注目度）: 9.274054218991528
• License:
• Abstract: Recently there has been a surge of interest in optimal decision tree (ODT) methods that globally optimize accuracy directly, in contrast to traditional approaches that locally optimize an impurity or information metric. However, the value of optimal methods is not well understood yet, as the literature provides conflicting results, with some demonstrating superior out-of-sample performance of ODTs over greedy approaches, while others show the opposite. Through a novel extensive experimental study, we provide new insights into the design and behavior of learning decision trees. In particular, we identify and analyze two relatively unexplored aspects of ODTs: the objective function used in training trees, and tuning techniques. Thus, we address these three questions: what objective to optimize in ODTs; how to tune ODTs; and how do optimal and greedy methods compare? Our experimental evaluation examines 11 objective functions, six tuning methods, and six claims from the literature on optimal and greedy methods on 180 real and synthetic data sets. Through our analysis, both conceptually and experimentally, we show the effect of (non-)concave objectives in greedy and optimal approaches; we highlight the importance of proper tuning of ODTs; support and refute several claims from the literature; provide clear recommendations for researchers and practitioners on the usage of greedy and optimal methods; and code for future comparisons.
• Abstract（参考訳）: 近年,不純物や情報メトリクスを局所的に最適化する従来の手法とは対照的に,精度を直接的に最適化する最適決定木(ODT)手法への関心が高まっている。 しかしながら、最適手法の価値はまだよく理解されていないが、文献では矛盾する結果が得られており、また、ODTが強欲なアプローチよりも優れていることを示すものもあれば、逆の結果を示すものもある。 そこで本研究では,学習決定木の設計と行動に関する新たな知見を提供する。 特に,ODTの比較的探索されていない2つの側面を同定し,解析する。 したがって、私たちはこれらの3つの質問に対処する: ODTで最適化する目的、ODTをチューニングする方法、最適なメソッドと欲求メソッドを比較するにはどうすればよいか? 実験により,180個の実・合成データセット上での最適および欲求的手法について,11の目的関数,6つのチューニング手法,および文献からの6つのクレームについて検討した。 我々は、概念的にも実験的にも、欲求と最適アプローチにおける(非)包括的目的の効果を示し、ODTの適切なチューニングの重要性を強調し、文献からのいくつかの主張を支持し、反論し、研究者や実践者に、欲求と最適手法の使用に関する明確な勧告を提供し、将来の比較のためのコードを提供する。

関連論文リスト

• Preference learning made easy: Everything should be understood through win rate [25.849945888898997]
  本研究は、ペアワイズ選好データのサンプリングから始まる選好学習を理解するための枠組みを提案する。 まず、データ分布における嗜好と有病率の両方を尊重する生成モデルの唯一の評価が、勝利率の一形態であることを示す。 次に、選好学習手法を、勝利率最適化(WRO)または非WROとして分析する。
  論文  参考訳（メタデータ） (2025-02-14T19:01:34Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• Calibrating LLMs with Preference Optimization on Thought Trees for Generating Rationale in Science Question Scoring [16.38771834692938]
  より忠実な論理を生成できる新しいフレームワークを提案し、さらに重要なことに、ブラックボックススコアリングシステムと性能をマッチングする。 まず,Large Language Models (LLM) をクエリして思考木を生成することで,人間の評価プロセスを模倣する。 次に、各思考木経路から中間的評価決定を要約し、合成的合理性データと合理性選好データを作成する。
  論文  参考訳（メタデータ） (2024-06-28T14:33:05Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Stochastic Optimization Forests [60.523606291705214]
  標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。 概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T16:56:06Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Descending through a Crowded Valley - Benchmarking Deep Learning Optimizers [29.624308090226375]
  本研究は,これらの逸話を,少なくとも証拠に裏付けられた逸話に置き換えることを目的としている。 そのために、特に人気のある15のディープラーニングの、広範囲で標準化されたベンチマークを実行します。 我々のオープンソースの成果は、新しい最適化手法のより有意義な評価のために、挑戦的でよく調整されたベースラインとして利用可能である。
  論文  参考訳（メタデータ） (2020-07-03T08:19:36Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。