論文の概要: Vanilla Gradient Descent for Oblique Decision Trees

• arxiv url: http://arxiv.org/abs/2408.09135v2
• Date: Thu, 22 Aug 2024 03:28:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 12:42:26.325727
• Title: Vanilla Gradient Descent for Oblique Decision Trees
• Title（参考訳）: 斜め決定木用バニラグラディエント染料
• Authors: Subrat Prasad Panda, Blaise Genest, Arvind Easwaran, Ponnuthurai Nagaratnam Suganthan,
• Abstract要約: 決定木(Decision Trees, DT)は、非線形AIモデルの1つである。 DTSemNetは、ニューラルネットワーク(NN)として(ハード、斜め)DTの、意味論的に等価で非可逆な符号化である。 DTSemNetを用いて学習した斜めDTは、最先端技術を用いて学習した同様の大きさの斜めDTよりも正確であることを示す実験である。
• 参考スコア（独自算出の注目度）: 7.236325471627686
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Decision Trees (DTs) constitute one of the major highly non-linear AI models, valued, e.g., for their efficiency on tabular data. Learning accurate DTs is, however, complicated, especially for oblique DTs, and does take a significant training time. Further, DTs suffer from overfitting, e.g., they proverbially "do not generalize" in regression tasks. Recently, some works proposed ways to make (oblique) DTs differentiable. This enables highly efficient gradient-descent algorithms to be used to learn DTs. It also enables generalizing capabilities by learning regressors at the leaves simultaneously with the decisions in the tree. Prior approaches to making DTs differentiable rely either on probabilistic approximations at the tree's internal nodes (soft DTs) or on approximations in gradient computation at the internal node (quantized gradient descent). In this work, we propose DTSemNet, a novel semantically equivalent and invertible encoding for (hard, oblique) DTs as Neural Networks (NNs), that uses standard vanilla gradient descent. Experiments across various classification and regression benchmarks show that oblique DTs learned using DTSemNet are more accurate than oblique DTs of similar size learned using state-of-the-art techniques. Further, DT training time is significantly reduced. We also experimentally demonstrate that DTSemNet can learn DT policies as efficiently as NN policies in the Reinforcement Learning (RL) setup with physical inputs (dimensions $\leq32$). The code is available at {\color{blue}\textit{\url{https://github.com/CPS-research-group/dtsemnet}}}.
• Abstract（参考訳）: 決定木(Decision Trees, DT)は、グラフデータ上での効率向上のために、値付けされた、重要でないAIモデルの1つである。 しかし、正確なDTを学習することは、特に斜めDTでは複雑であり、かなりのトレーニング時間を要する。 さらに、DTは、例えば回帰タスクにおいて「一般化しない」というような過度な適合に苦しむ。 最近、いくつかの研究がDTを(斜めに)差別化する方法を提案している。 これにより、DTの学習に高効率な勾配偏光アルゴリズムが使用できる。 また、木の上の決定と同時に木の葉で回帰器を学習することで、一般化機能を可能にする。 DTを微分可能とする以前のアプローチは、木の内部ノード(ソフトDT)の確率近似や、内部ノード(量子化勾配勾配)の勾配計算の近似に依存する。 本研究では、標準的なバニラ勾配勾配を用いた(ハード、斜め)DTをニューラルネットワーク(NN)として意味論的に等価かつ可逆的に符号化するDTSemNetを提案する。 DTSemNetを用いて学習した斜めDTは、最先端技術を用いて学習した同様の大きさの斜めDTよりも正確であることを示す。 さらに、DT訓練時間を著しく短縮する。 また, DTSemNetは, 物理入力による強化学習(RL)設定において, NNポリシーと同じくらい効率的にDTポリシーを学習できることを実験的に実証した(次元$\leq32$)。 コードは {\color{blue}\textit{\url{https://github.com/CPS-research-group/dtsemnet}}} で公開されている。

関連論文リスト

• Estimating the Hessian Matrix of Ranking Objectives for Stochastic Learning to Rank with Gradient Boosted Trees [63.18324983384337]
  グラディエントブースト決定木(GBDT)のランク付け手法について紹介する。 我々の主な貢献は、二階微分、すなわちヘッセン行列に対する新しい推定器である。 推定器を既存のPL-Rankフレームワークに組み込む。
  論文  参考訳（メタデータ） (2024-04-18T13:53:32Z)
• Solving Continual Offline Reinforcement Learning with Decision Transformer [78.59473797783673]
  連続的オフライン強化学習(CORL)は、連続的およびオフライン的な強化学習を組み合わせたものである。 Actor-Critic構造とエクスペリエンス・リプレイ(ER)を取り入れた既存の手法は、分散シフト、低効率、知識共有の弱さに悩まされている。 我々は,マルチヘッドDT (MH-DT) とローランク適応DT (LoRA-DT) を導入し,DTの無視問題を緩和する。
  論文  参考訳（メタデータ） (2024-01-16T16:28:32Z)
• GradTree: Learning Axis-Aligned Decision Trees with Gradient Descent [10.27211960475599]
  決定木(DT)は多くの機械学習タスクで一般的に使われている。 本稿では,greedyアルゴリズムを用いた新しいDT学習手法を提案する。 直進演算子と直進演算子を高密度DT表現とし,すべての木パラメータを協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-05T13:24:35Z)
• Optimal Interpretability-Performance Trade-off of Classification Trees with Black-Box Reinforcement Learning [0.0]
  AIモデルの解釈可能性により、モデルの信頼性を構築するためのユーザ安全チェックが可能になる。 決定木(DT)は、学習したモデルに関するグローバルな見解を提供し、与えられたデータを分類するのに重要な機能の役割を明確に概説する。 コンパクトツリーを学習するために、最近DTの空間を探求する強化学習フレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-11T09:43:23Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Quantized Training of Gradient Boosting Decision Trees [84.97123593657584]
  我々は,GBDTのトレーニングアルゴリズムにおいて,高精度勾配を非常に単純かつ効果的な方法で定量化することを提案する。 低精度勾配では、GBDTトレーニングにおけるほとんどの算術演算は、8, 16, 32ビットの整数演算に置き換えられる。 大規模なデータセット上でのSOTA GBDTシステムと比較して、単純な量子化戦略の2$times$スピードアップを観測する。
  論文  参考訳（メタデータ） (2022-07-20T06:27:06Z)
• Learning Multi-Layered GBDT Via Back Propagation [9.249235534786072]
  バックプロパゲーション(BP)を用いた多層GBDT学習フレームワークを提案する。 線形回帰に基づくGBDTの勾配を近似した。 実験では,提案手法の有効性を性能と表現能力の観点から示す。
  論文  参考訳（メタデータ） (2021-09-24T10:10:25Z)
• Enhancing Transformers with Gradient Boosted Decision Trees for NLI Fine-Tuning [7.906608953906889]
  ニューラルネットワークによる余分な計算を行なわずに性能を向上させるために、微調整中に計算された機能にGBDTヘッドを装着するFreeGBDTを導入する。 強力なベースラインモデルを用いて,複数のNLIデータセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-05-08T22:31:51Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。