論文の概要: A Novel Splitting Criterion Inspired by Geometric Mean Metric Learning
for Decision Tree
- arxiv url: http://arxiv.org/abs/2204.11011v1
- Date: Sat, 23 Apr 2022 07:33:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-26 14:57:08.590052
- Title: A Novel Splitting Criterion Inspired by Geometric Mean Metric Learning
for Decision Tree
- Title(参考訳): 決定木に対する幾何学平均メトリック学習に触発された新しい分割基準
- Authors: Dan Li, Songcan Chen
- Abstract要約: 決定木(DT)は、多くのアプリケーションにおいて、その印象的な経験的性能と解釈可能性のために、永続的な研究の注目を集めている。
本稿では,成長速度を上げるために分割基準を新たに設計する。
この基準は、幾何学的平均距離学習(GMML)から導出され、その対角化行列制約の下で最適化される。
- 参考スコア(独自算出の注目度): 27.253204680627952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decision tree (DT) attracts persistent research attention due to its
impressive empirical performance and interpretability in numerous applications.
However, the growth of traditional yet widely-used univariate decision trees
(UDTs) is quite time-consuming as they need to traverse all the features to
find the splitting value with the maximal reduction of the impurity at each
internal node. In this paper, we newly design a splitting criterion to speed up
the growth. The criterion is induced from Geometric Mean Metric Learning (GMML)
and then optimized under its diagonalized metric matrix constraint,
consequently, a closed-form rank of feature discriminant abilities can at once
be obtained and the top 1 feature at each node used to grow an intent DT
(called as dGMML-DT, where d is an abbreviation for diagonalization). We
evaluated the performance of the proposed methods and their corresponding
ensembles on benchmark datasets. The experiment shows that dGMML-DT achieves
comparable or better classification results more efficiently than the UDTs with
10x average speedup. Furthermore, dGMML-DT can straightforwardly be extended to
its multivariable counterpart (dGMML-MDT) without needing laborious operations.
- Abstract(参考訳): 決定木(dt)は、多くのアプリケーションにおいて印象的な性能と解釈性のため、永続的な研究の注目を集めている。
しかし、従来のUDT(univariate decision tree)の成長は、各内部ノードにおける不純物の最大減少とともに分割値を求めるためにすべての特徴をトラバースする必要があるため、非常に時間がかかる。
本稿では,成長速度を上げるために分割基準を新たに設計する。
この基準は、幾何平均距離学習(GMML)から誘導され、その対角化計量行列制約の下で最適化されるので、特徴判別能力の閉形式ランクが一度に取得でき、各ノードの上位1特徴が目的DT(dは対角化の略語であるdGMML-DTと呼ばれる)を成長するのに使用される。
提案手法とそれに対応するアンサンブルの性能をベンチマークデータセット上で評価した。
実験の結果、dGMML-DTは平均速度が10倍のUDTよりも、同等またはより良い分類結果が得られることがわかった。
さらに、dGMML-DTは、その多変数対応(dGMML-MDT)に簡単に拡張できる。
関連論文リスト
- Recursive Speculative Decoding: Accelerating LLM Inference via Sampling
Without Replacement [11.91629418177851]
投機的復号法(英: Speculative decoding)は、大規模言語モデルの推論・加速度法である。
近年の作業では、草稿の伐採によってこの方法が進歩している。
再帰的投機的復号法(Recursive Speculative Decoding:RSD)を提案する。
論文 参考訳(メタデータ) (2024-02-21T22:57:49Z) - Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。
本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。
提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
論文 参考訳(メタデータ) (2024-01-29T18:43:49Z) - How to Prune Your Language Model: Recovering Accuracy on the "Sparsity
May Cry'' Benchmark [60.72725673114168]
下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。
そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
論文 参考訳(メタデータ) (2023-12-21T03:11:30Z) - Coevolutionary Algorithm for Building Robust Decision Trees under
Minimax Regret [12.72963164625931]
本稿では、堅牢なアルゴリズム決定木(DT)を作成するために設計された新しい共進化アルゴリズム(CoEvoRDT)を提案する。
従来のDTアルゴリズムの制限により、適応的共進化を利用してDTを進化させ、摂動入力データとの相互作用から学習する。
CoEvoRDTは20の一般的なデータセットでテストされており、4つの最先端アルゴリズムよりも優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-12-14T16:12:22Z) - Regularization and Variance-Weighted Regression Achieves Minimax
Optimality in Linear MDPs: Theory and Practice [79.48432795639403]
ミラー降下値反復(MDVI)は、KL(Kulback-Leibler)とRL(Entropy-regularized reinforcement learning)の抽象化である。
MDVIを線形関数近似を用いて研究し,$varepsilon$-optimal policyを同定するために必要なサンプル複雑性について検討した。
我々は,無限水平線形MDPに対して,最小限のサンプル複雑性を実現する最初の理論的アルゴリズムである分散重み付き最小二乗法MDVIを提案する。
論文 参考訳(メタデータ) (2023-05-22T16:13:05Z) - GradTree: Learning Axis-Aligned Decision Trees with Gradient Descent [9.107782510356989]
決定木(DT)は多くの機械学習タスクで一般的に使われている。
本稿では,greedyアルゴリズムを用いた新しいDT学習手法を提案する。
直進演算子と直進演算子を高密度DT表現とし,すべての木パラメータを協調的に最適化する手法を提案する。
論文 参考訳(メタデータ) (2023-05-05T13:24:35Z) - Enhancing Robustness of Gradient-Boosted Decision Trees through One-Hot
Encoding and Regularization [10.942447664917061]
GBDTモデルを1つのダミー変数に1つの木葉を符号化することで,1ホット符号化を用いて線形フレームワークに変換する。
これにより線形回帰法が利用可能となり、GBDTモデルのロバスト性を評価する新たなリスク分解が可能となった。
数値実験により,提案手法は1ホット符号化GBDTモデルのロバスト性を高めることができることを示した。
論文 参考訳(メタデータ) (2023-04-26T18:04:16Z) - Greedy based Value Representation for Optimal Coordination in
Multi-agent Reinforcement Learning [64.05646120624287]
LVDとMVDの結合Q値関数を導出する。
最適な整合性を確保するために、最適なノードは独自のSTNである必要がある。
本手法は,様々なベンチマーク実験において,最先端のベースラインよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-22T08:14:50Z) - Adaptive neighborhood Metric learning [184.95321334661898]
適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。
ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。
本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
論文 参考訳(メタデータ) (2022-01-20T17:26:37Z) - Toward a Generalization Metric for Deep Generative Models [18.941388632914666]
深部生成モデル(DGM)の一般化能力の測定は困難である。
評価指標の堅牢性を比較するためのフレームワークを提案する。
我々はジェネレーション潜在変数モデル(GLVM)の複雑さを推定する効率的な方法を開発した。
論文 参考訳(メタデータ) (2020-11-02T05:32:07Z) - Convergence of Meta-Learning with Task-Specific Adaptation over Partial
Parameters [152.03852111442114]
モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。
本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
論文 参考訳(メタデータ) (2020-06-16T19:57:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。