Fugu-MT 論文翻訳(概要): A Novel Splitting Criterion Inspired by Geometric Mean Metric Learning for Decision Tree

論文の概要: A Novel Splitting Criterion Inspired by Geometric Mean Metric Learning for Decision Tree

arxiv url: http://arxiv.org/abs/2204.11011v1
Date: Sat, 23 Apr 2022 07:33:57 GMT
ステータス: 処理完了
システム内更新日: 2022-04-26 14:57:08.590052
Title: A Novel Splitting Criterion Inspired by Geometric Mean Metric Learning for Decision Tree
Title（参考訳）: 決定木に対する幾何学平均メトリック学習に触発された新しい分割基準
Authors: Dan Li, Songcan Chen
Abstract要約: 決定木(DT)は、多くのアプリケーションにおいて、その印象的な経験的性能と解釈可能性のために、永続的な研究の注目を集めている。本稿では,成長速度を上げるために分割基準を新たに設計する。この基準は、幾何学的平均距離学習(GMML)から導出され、その対角化行列制約の下で最適化される。
参考スコア（独自算出の注目度）: 27.253204680627952
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Decision tree (DT) attracts persistent research attention due to its impressive empirical performance and interpretability in numerous applications. However, the growth of traditional yet widely-used univariate decision trees (UDTs) is quite time-consuming as they need to traverse all the features to find the splitting value with the maximal reduction of the impurity at each internal node. In this paper, we newly design a splitting criterion to speed up the growth. The criterion is induced from Geometric Mean Metric Learning (GMML) and then optimized under its diagonalized metric matrix constraint, consequently, a closed-form rank of feature discriminant abilities can at once be obtained and the top 1 feature at each node used to grow an intent DT (called as dGMML-DT, where d is an abbreviation for diagonalization). We evaluated the performance of the proposed methods and their corresponding ensembles on benchmark datasets. The experiment shows that dGMML-DT achieves comparable or better classification results more efficiently than the UDTs with 10x average speedup. Furthermore, dGMML-DT can straightforwardly be extended to its multivariable counterpart (dGMML-MDT) without needing laborious operations.
Abstract（参考訳）: 決定木(dt)は、多くのアプリケーションにおいて印象的な性能と解釈性のため、永続的な研究の注目を集めている。しかし、従来のUDT(univariate decision tree)の成長は、各内部ノードにおける不純物の最大減少とともに分割値を求めるためにすべての特徴をトラバースする必要があるため、非常に時間がかかる。本稿では,成長速度を上げるために分割基準を新たに設計する。この基準は、幾何平均距離学習(GMML)から誘導され、その対角化計量行列制約の下で最適化されるので、特徴判別能力の閉形式ランクが一度に取得でき、各ノードの上位1特徴が目的DT(dは対角化の略語であるdGMML-DTと呼ばれる)を成長するのに使用される。提案手法とそれに対応するアンサンブルの性能をベンチマークデータセット上で評価した。実験の結果、dGMML-DTは平均速度が10倍のUDTよりも、同等またはより良い分類結果が得られることがわかった。さらに、dGMML-DTは、その多変数対応(dGMML-MDT)に簡単に拡張できる。

関連論文リスト

RGMDT: Return-Gap-Minimizing Decision Tree Extraction in Non-Euclidean Metric Space [28.273737052758907]
オラクルの専門家政策と最適決定木政策のリターンギャップの上限について紹介する。これにより、各エージェントの局所的な観測と行動値空間上で、DT抽出問題を新しい非ユークリッドクラスタリング問題に再キャストすることができる。また,Return-Gap-Minimization Decision Tree (RGMDT)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-10-21T21:19:49Z)
Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
論文参考訳（メタデータ） (2024-10-12T15:10:56Z)
Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
論文参考訳（メタデータ） (2024-10-11T17:01:43Z)
Graph-Structured Speculative Decoding [52.94367724136063]
投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
論文参考訳（メタデータ） (2024-07-23T06:21:24Z)
Estimating the Hessian Matrix of Ranking Objectives for Stochastic Learning to Rank with Gradient Boosted Trees [63.18324983384337]
グラディエントブースト決定木(GBDT)のランク付け手法について紹介する。我々の主な貢献は、二階微分、すなわちヘッセン行列に対する新しい推定器である。推定器を既存のPL-Rankフレームワークに組み込む。
論文参考訳（メタデータ） (2024-04-18T13:53:32Z)
Coevolutionary Algorithm for Building Robust Decision Trees under Minimax Regret [12.72963164625931]
本稿では、堅牢なアルゴリズム決定木(DT)を作成するために設計された新しい共進化アルゴリズム(CoEvoRDT)を提案する。従来のDTアルゴリズムの制限により、適応的共進化を利用してDTを進化させ、摂動入力データとの相互作用から学習する。 CoEvoRDTは20の一般的なデータセットでテストされており、4つの最先端アルゴリズムよりも優れたパフォーマンスを示している。
論文参考訳（メタデータ） (2023-12-14T16:12:22Z)
GradTree: Learning Axis-Aligned Decision Trees with Gradient Descent [10.27211960475599]
決定木(DT)は多くの機械学習タスクで一般的に使われている。本稿では,greedyアルゴリズムを用いた新しいDT学習手法を提案する。直進演算子と直進演算子を高密度DT表現とし,すべての木パラメータを協調的に最適化する手法を提案する。
論文参考訳（メタデータ） (2023-05-05T13:24:35Z)
Enhancing Robustness of Gradient-Boosted Decision Trees through One-Hot Encoding and Regularization [10.942447664917061]
GBDTモデルを1つのダミー変数に1つの木葉を符号化することで,1ホット符号化を用いて線形フレームワークに変換する。これにより線形回帰法が利用可能となり、GBDTモデルのロバスト性を評価する新たなリスク分解が可能となった。数値実験により,提案手法は1ホット符号化GBDTモデルのロバスト性を高めることができることを示した。
論文参考訳（メタデータ） (2023-04-26T18:04:16Z)
Greedy based Value Representation for Optimal Coordination in Multi-agent Reinforcement Learning [64.05646120624287]
LVDとMVDの結合Q値関数を導出する。最適な整合性を確保するために、最適なノードは独自のSTNである必要がある。本手法は,様々なベンチマーク実験において,最先端のベースラインよりも優れた性能を示す。
論文参考訳（メタデータ） (2022-11-22T08:14:50Z)
Toward a Generalization Metric for Deep Generative Models [18.941388632914666]
深部生成モデル(DGM)の一般化能力の測定は困難である。評価指標の堅牢性を比較するためのフレームワークを提案する。我々はジェネレーション潜在変数モデル(GLVM)の複雑さを推定する効率的な方法を開発した。
論文参考訳（メタデータ） (2020-11-02T05:32:07Z)
Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters [152.03852111442114]
モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
論文参考訳（メタデータ） (2020-06-16T19:57:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。