論文の概要: Permutation Decision Trees
- arxiv url: http://arxiv.org/abs/2306.02617v2
- Date: Sun, 13 Aug 2023 10:11:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 19:42:06.406498
- Title: Permutation Decision Trees
- Title(参考訳): 置換決定木
- Authors: Harikrishnan N B and Nithin Nagaraj
- Abstract要約: Effort-To-Compress (ETC) は、不純物尺度として初めて複雑性尺度である。
本稿では,不規則な特徴選択やサブサンプリングを必要とせず,置換決定木を用いて達成した置換バギングの概念を紹介する。
- 参考スコア(独自算出の注目度): 3.626013617212667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decision Tree is a well understood Machine Learning model that is based on
minimizing impurities in the internal nodes. The most common impurity measures
are Shannon entropy and Gini impurity. These impurity measures are insensitive
to the order of training data and hence the final tree obtained is invariant to
any permutation of the data. This leads to a serious limitation in modeling
data instances that have order dependencies. In this work, we propose the use
of Effort-To-Compress (ETC) - a complexity measure, for the first time, as an
impurity measure. Unlike Shannon entropy and Gini impurity, structural impurity
based on ETC is able to capture order dependencies in the data, thus obtaining
potentially different decision trees for different permutations of the same
data instances (Permutation Decision Trees). We then introduce the notion of
Permutation Bagging achieved using permutation decision trees without the need
for random feature selection and sub-sampling. We compare the performance of
the proposed permutation bagged decision trees with Random Forests. Our model
does not assume that the data instances are independent and identically
distributed. Potential applications include scenarios where a temporal order
present in the data instances is to be respected.
- Abstract(参考訳): decision treeは、内部ノードの不純物を最小化することに基づく、よく知られた機械学習モデルである。
最も一般的な不純物対策はシャノンエントロピーとジーニ不純物である。
これらの不純物対策はトレーニングデータの順序に敏感であるため、得られた最終木はデータの任意の置換に不変である。
これにより、順序依存性を持つデータインスタンスのモデリングに深刻な制限が生じる。
本研究では, 初めて, 不純物測定として, 圧縮努力(etc)を用いる方法を提案する。
シャノンエントロピーやジーニの不純物とは異なり、ETCに基づく構造的不純物はデータ内の順序依存をキャプチャし、同じデータインスタンスの異なる置換に対する潜在的に異なる決定木を取得することができる(置換決定木)。
次に,無作為な特徴選択やサブサンプリングを必要とせず,順列決定木を用いた順列バッキングの概念を導入する。
提案した変分木決定木の性能をランダムフォレストと比較した。
当社のモデルは、データインスタンスが独立かつ同一分散であることを想定していません。
潜在的なアプリケーションには、データインスタンスに存在する一時的な順序を尊重するシナリオが含まれる。
関連論文リスト
- Learning a Decision Tree Algorithm with Transformers [80.49817544396379]
本稿では,従来のアルゴリズムから出力されたフィルタを用いてトランスフォーマーモデルを用いて,分類のための強力な決定木を生成するメタトレーについて紹介する。
次にMetaTreeをトレーニングして、強力な一般化パフォーマンスを実現するツリーを生成します。
論文 参考訳(メタデータ) (2024-02-06T07:40:53Z) - Compositional Generalization without Trees using Multiset Tagging and
Latent Permutations [121.37328648951993]
まず、各入力トークンに複数の出力トークンをタグ付けします。
次に、新しいパラメータ化法と置換予測法を用いて、トークンを出力シーケンスに配置する。
我々のモデルは、事前訓練されたセq2seqモデルと、現実的なセマンティック解析タスクに関する先行研究より優れている。
論文 参考訳(メタデータ) (2023-05-26T14:09:35Z) - Regularized impurity reduction: Accurate decision trees with complexity
guarantees [20.170305081348328]
本稿では,木複雑性の対数近似を保証する木推論アルゴリズムを提案する。
改良されたアルゴリズムは予測精度と木の複雑さのバランスが良好である。
論文 参考訳(メタデータ) (2022-08-23T13:15:19Z) - Discrete Tree Flows via Tree-Structured Permutations [5.929956715430168]
離散フローベースモデルは、離散関数の勾配が未定義あるいはゼロであるため、従来のディープラーニング手法では直接最適化できない。
提案手法は,決定木に基づく離散フローを開発することにより,計算負担を低減し,擬似勾配の必要性を解消することを目的としている。
論文 参考訳(メタデータ) (2022-07-04T23:11:04Z) - TreeFlow: Going beyond Tree-based Gaussian Probabilistic Regression [0.0]
ツリーアンサンブルを使うことの利点と柔軟な確率分布をモデル化する能力を組み合わせたツリーベースアプローチであるTreeFlowを紹介した。
提案手法は, 諸量, 特徴量, 目標寸法の異なる回帰ベンチマークを用いて評価する。
論文 参考訳(メタデータ) (2022-06-08T20:06:23Z) - Hierarchical Shrinkage: improving the accuracy and interpretability of
tree-based methods [10.289846887751079]
木構造を改変しないポストホックアルゴリズムである階層収縮(Hierarchical Shrinkage, HS)を導入する。
HSは、他の正規化技術と併用しても、決定木の予測性能を大幅に向上させる。
すべてのコードとモデルはGithubにある本格的なパッケージでリリースされている。
論文 参考訳(メタデータ) (2022-02-02T02:43:23Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Optimal randomized classification trees [0.0]
分類と回帰木(英: Classification and Regression Trees、CART)は、現代の統計学と機械学習における既成の技術である。
CARTはgreedyプロシージャによって構築され、分割予測変数と関連するしきい値を逐次決定する。
この強欲なアプローチは、木を非常に高速に木に分類するが、その性質上、それらの分類精度は他の最先端の手順と競合しないかもしれない。
論文 参考訳(メタデータ) (2021-10-19T11:41:12Z) - Modeling Sequences as Distributions with Uncertainty for Sequential
Recommendation [63.77513071533095]
既存のシーケンシャルメソッドの多くは、ユーザが決定論的であると仮定する。
項目-項目遷移は、いくつかの項目において著しく変動し、ユーザの興味のランダム性を示す。
本稿では,不確実性を逐次モデルに注入する分散型トランスフォーマーシークエンシャルレコメンデーション(DT4SR)を提案する。
論文 参考訳(メタデータ) (2021-06-11T04:35:21Z) - Robustifying Algorithms of Learning Latent Trees with Vector Variables [92.18777020401484]
Recursive Grouping (RG) と Chow-Liu Recursive Grouping (CLRG) のサンプル複雑性について述べる。
RG,CLRG,Neighbor Joining (NJ) およびSpectral NJ (SNJ) をトラッピングした内積を用いて強化する。
我々は、潜在木の構造学習において、最初の既知のインスタンス依存の不合理性の結果を導出する。
論文 参考訳(メタデータ) (2021-06-02T01:37:52Z) - Convex Polytope Trees [57.56078843831244]
コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。
木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
論文 参考訳(メタデータ) (2020-10-21T19:38:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。