論文の概要: Vanilla Gradient Descent for Oblique Decision Trees
- arxiv url: http://arxiv.org/abs/2408.09135v1
- Date: Sat, 17 Aug 2024 08:18:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 22:25:12.437838
- Title: Vanilla Gradient Descent for Oblique Decision Trees
- Title(参考訳): 斜め決定木用バニラグラディエント染料
- Authors: Subrat Prasad Panda, Blaise Genest, Arvind Easwaran, Ponnuthurai Nagaratnam Suganthan,
- Abstract要約: 決定木(Decision Trees, DT)は、非線形AIモデルの1つである。
我々は,ニューラルテキストトネットワークス (NN) として (ハード, 斜め) DT に対して, テキストに等価で可逆な新しい符号化法である textitDTSemNet を提案する。
textitDTSemNetを用いて学習した斜めDTは、最先端技術を用いて学習した同様の大きさの斜めDTよりも正確であることを示す実験結果が得られた。
- 参考スコア(独自算出の注目度): 7.236325471627686
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Decision Trees (DTs) constitute one of the major highly non-linear AI models, valued, e.g., for their efficiency on tabular data. Learning accurate DTs is, however, complicated, especially for oblique DTs, and does take a significant training time. Further, DTs suffer from overfitting, e.g., they proverbially "do not generalize" in regression tasks. Recently, some works proposed ways to make (oblique) DTs differentiable. This enables highly efficient gradient-descent algorithms to be used to learn DTs. It also enables generalizing capabilities by learning regressors at the leaves simultaneously with the decisions in the tree. Prior approaches to making DTs differentiable rely either on probabilistic approximations at the tree's internal nodes (soft DTs) or on approximations in gradient computation at the internal node (quantized gradient descent). In this work, we propose \textit{DTSemNet}, a novel \textit{sem}antically equivalent and invertible encoding for (hard, oblique) DTs as Neural \textit{Net}works (NNs), that uses standard vanilla gradient descent. Experiments across various classification and regression benchmarks show that oblique DTs learned using \textit{DTSemNet} are more accurate than oblique DTs of similar size learned using state-of-the-art techniques. Further, DT training time is significantly reduced. We also experimentally demonstrate that \textit{DTSemNet} can learn DT policies as efficiently as NN policies in the Reinforcement Learning (RL) setup with physical inputs (dimensions $\leq32$). The code is available at {\color{blue}\textit{\url{https://github.com/CPS-research-group/dtsemnet}}}.
- Abstract(参考訳): 決定木(Decision Trees, DT)は、グラフデータ上での効率向上のために、値付けされた、重要でないAIモデルの1つである。
しかし、正確なDTを学習することは、特に斜めDTでは複雑であり、かなりのトレーニング時間を要する。
さらに、DTは、例えば回帰タスクにおいて「一般化しない」というような過度な適合に苦しむ。
最近、いくつかの研究がDTを(斜めに)差別化する方法を提案している。
これにより、DTの学習に高効率な勾配偏光アルゴリズムが使用できる。
また、木の上の決定と同時に木の葉で回帰器を学習することで、一般化機能を可能にする。
DTを微分可能とする以前のアプローチは、木の内部ノード(ソフトDT)の確率近似や、内部ノード(量子化勾配勾配)の勾配計算の近似に依存する。
本稿では,標準的なバニラ勾配勾配を用いた(ハードで斜めの)DTをニューラルネットワーク(NN)で符号化する新奇な \textit{DTSemNet} を提案する。
様々な分類および回帰ベンチマークによる実験により、 \textit{DTSemNet} を用いて学習した斜めDTは、最先端技術を用いて学習した同様の大きさの斜めDTよりも精度が高いことが示された。
さらに、DT訓練時間を著しく短縮する。
また,身体入力を伴う強化学習(Reinforcement Learning, RL)設定において, DT ポリシーを NN ポリシーと同じくらい効率的に学習できることを実験的に実証した(例: $\leq32$)。
コードは {\color{blue}\textit{\url{https://github.com/CPS-research-group/dtsemnet}}} で公開されている。
関連論文リスト
- Estimating the Hessian Matrix of Ranking Objectives for Stochastic Learning to Rank with Gradient Boosted Trees [63.18324983384337]
グラディエントブースト決定木(GBDT)のランク付け手法について紹介する。
我々の主な貢献は、二階微分、すなわちヘッセン行列に対する新しい推定器である。
推定器を既存のPL-Rankフレームワークに組み込む。
論文 参考訳(メタデータ) (2024-04-18T13:53:32Z) - Solving Continual Offline Reinforcement Learning with Decision Transformer [78.59473797783673]
連続的オフライン強化学習(CORL)は、連続的およびオフライン的な強化学習を組み合わせたものである。
Actor-Critic構造とエクスペリエンス・リプレイ(ER)を取り入れた既存の手法は、分散シフト、低効率、知識共有の弱さに悩まされている。
我々は,マルチヘッドDT (MH-DT) とローランク適応DT (LoRA-DT) を導入し,DTの無視問題を緩和する。
論文 参考訳(メタデータ) (2024-01-16T16:28:32Z) - Towards Memory- and Time-Efficient Backpropagation for Training Spiking
Neural Networks [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。
本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。
BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
論文 参考訳(メタデータ) (2023-02-28T05:01:01Z) - Quantized Training of Gradient Boosting Decision Trees [84.97123593657584]
我々は,GBDTのトレーニングアルゴリズムにおいて,高精度勾配を非常に単純かつ効果的な方法で定量化することを提案する。
低精度勾配では、GBDTトレーニングにおけるほとんどの算術演算は、8, 16, 32ビットの整数演算に置き換えられる。
大規模なデータセット上でのSOTA GBDTシステムと比較して、単純な量子化戦略の2$times$スピードアップを観測する。
論文 参考訳(メタデータ) (2022-07-20T06:27:06Z) - Generative Trees: Adversarial and Copycat [26.09279398946235]
我々は、DT誘導のための教師付きタスクの最高のコンポーネントについての数十年前からの理解を活用している。
木に基づく生成モデル, テクスト生成木(GT)を紹介する。
我々は、フェイク/現実の区別、フェイクデータからのトレーニング、欠落データ計算などのタスクでアルゴリズムをテストする。
論文 参考訳(メタデータ) (2022-01-26T22:02:43Z) - Learning Multi-Layered GBDT Via Back Propagation [9.249235534786072]
バックプロパゲーション(BP)を用いた多層GBDT学習フレームワークを提案する。
線形回帰に基づくGBDTの勾配を近似した。
実験では,提案手法の有効性を性能と表現能力の観点から示す。
論文 参考訳(メタデータ) (2021-09-24T10:10:25Z) - Enhancing Transformers with Gradient Boosted Decision Trees for NLI
Fine-Tuning [7.906608953906889]
ニューラルネットワークによる余分な計算を行なわずに性能を向上させるために、微調整中に計算された機能にGBDTヘッドを装着するFreeGBDTを導入する。
強力なベースラインモデルを用いて,複数のNLIデータセットに対して提案手法の有効性を示す。
論文 参考訳(メタデータ) (2021-05-08T22:31:51Z) - Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。
以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文 参考訳(メタデータ) (2020-10-22T00:32:12Z) - Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。
しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。
本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文 参考訳(メタデータ) (2020-07-01T04:48:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。