論文の概要: Enhance Learning Efficiency of Oblique Decision Tree via Feature Concatenation

• arxiv url: http://arxiv.org/abs/2502.00465v1
• Date: Sat, 01 Feb 2025 15:49:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:06:04.716089
• Title: Enhance Learning Efficiency of Oblique Decision Tree via Feature Concatenation
• Title（参考訳）: 特徴連結による斜め決定木のエンハンス学習効率
• Authors: Shen-Huan Lyu, Yi-Xiao He, Yanyan Wang, Zhihao Qu, Bin Tang, Baoliu Ye,
• Abstract要約: 特徴連結を用いた拡張ODT法(textttFC-ODT)を提案する。 textttFC-ODTは、決定経路に沿って投影を送信するためのモデル内の特徴変換を可能にする。 実験により、textttFC-ODTは、木深が制限された他の最先端の決定木よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 16.81813720905545
• License:
• Abstract: Oblique Decision Tree (ODT) separates the feature space by linear projections, as opposed to the conventional Decision Tree (DT) that forces axis-parallel splits. ODT has been proven to have a stronger representation ability than DT, as it provides a way to create shallower tree structures while still approximating complex decision boundaries. However, its learning efficiency is still insufficient, since the linear projections cannot be transmitted to the child nodes, resulting in a waste of model parameters. In this work, we propose an enhanced ODT method with Feature Concatenation (\texttt{FC-ODT}), which enables in-model feature transformation to transmit the projections along the decision paths. Theoretically, we prove that our method enjoys a faster consistency rate w.r.t. the tree depth, indicating that our method possesses a significant advantage in generalization performance, especially for shallow trees. Experiments show that \texttt{FC-ODT} can outperform the other state-of-the-art decision trees with a limited tree depth.
• Abstract（参考訳）: 斜め決定木(ODT)は、軸平行分割を強制する従来の決定木(DT)とは対照的に、直線射影によって特徴空間を分離する。 ODTは、複雑な決定境界を近似しながら、より浅いツリー構造を作成する方法を提供するため、DTよりも強力な表現能力があることが証明されている。 しかし、その学習効率はまだ不十分であり、線形射影は子ノードに伝達できないため、モデルパラメータの無駄が生じる。 そこで本研究では、モデル内特徴変換により、決定経路に沿ってプロジェクションを送信可能な特徴連結法(\texttt{FC-ODT})を提案する。 理論的には,本手法が木深部においてより高速な整合率を享受できることを証明し,特に浅木において,本手法が一般化性能において有意な優位性を有することを示す。 実験の結果,木深が制限された他の最先端の決定木よりも優れた結果が得られることがわかった。

関連論文リスト

• FoLDTree: A ULDA-Based Decision Tree Framework for Efficient Oblique Splits and Feature Selection [6.087464679182875]
  LDATreeとFoldTreeは、Uncorrelated Linear Discriminant Analysis (ULDA)とForward ULDAを決定木構造に統合する。 LDATree と FoLDTree は軸直交およびその他の斜め決定木法より一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-30T16:03:51Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• GradTree: Learning Axis-Aligned Decision Trees with Gradient Descent [10.27211960475599]
  決定木(DT)は多くの機械学習タスクで一般的に使われている。 本稿では,greedyアルゴリズムを用いた新しいDT学習手法を提案する。 直進演算子と直進演算子を高密度DT表現とし,すべての木パラメータを協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-05T13:24:35Z)
• On Tackling Explanation Redundancy in Decision Trees [19.833126971063724]
  決定木(DT)は機械学習(ML)モデルの解釈可能性の理想を表わしている。 本稿では, 決定木の解釈可能性と説明の簡潔さが等価である限り, 決定木を解釈可能とみなさざるを得ないことを示す理論的および実験的議論について述べる。
  論文  参考訳（メタデータ） (2022-05-20T05:33:38Z)
• A Novel Splitting Criterion Inspired by Geometric Mean Metric Learning for Decision Tree [27.253204680627952]
  決定木(DT)は、多くのアプリケーションにおいて、その印象的な経験的性能と解釈可能性のために、永続的な研究の注目を集めている。 本稿では,成長速度を上げるために分割基準を新たに設計する。 この基準は、幾何学的平均距離学習(GMML)から導出され、その対角化行列制約の下で最適化される。
  論文  参考訳（メタデータ） (2022-04-23T07:33:57Z)
• Tree in Tree: from Decision Trees to Decision Graphs [2.2336243882030025]
  Tree in Tree decision graph (TnT)は、従来の決定木をより汎用的で強力な非巡回グラフに拡張するフレームワークである。 提案するモデルは,広く用いられている決定木に代わる,新しい,より効率的かつ正確な代替手段である。
  論文  参考訳（メタデータ） (2021-10-01T13:20:05Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Convex Polytope Trees [57.56078843831244]
  コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。 木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
  論文  参考訳（メタデータ） (2020-10-21T19:38:57Z)
• Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning [66.01622034708319]
  我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。 我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。 次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:25Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。