論文の概要: Permutation Decision Trees
- arxiv url: http://arxiv.org/abs/2306.02617v1
- Date: Mon, 5 Jun 2023 06:31:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 16:39:29.652887
- Title: Permutation Decision Trees
- Title（参考訳）: 置換決定木
- Authors: Harikrishnan N B and Nithin Nagaraj
- Abstract要約: Effort-To-Compress (ETC) は、不純物尺度として初めて複雑性尺度である。
本稿では,不規則な特徴選択やサブサンプリングを必要とせず,置換決定木を用いて達成した置換バギングの概念を紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decision Tree is a well understood Machine Learning model that is based on
minimizing impurities in the internal nodes. The most common impurity measures
are Shannon entropy and Gini impurity. These impurity measures are insensitive
to the order of training data and hence the final tree obtained is invariant to
any permutation of the data. This leads to a serious limitation in modeling
data instances that have order dependencies. In this work, we propose the use
of Effort-To-Compress (ETC) - a complexity measure, for the first time, as an
impurity measure. Unlike Shannon entropy and Gini impurity, structural impurity
based on ETC is able to capture order dependencies in the data, thus obtaining
potentially different decision trees for different permutations of the same
data instances (Permutation Decision Trees). We then introduce the notion of
Permutation Bagging achieved using permutation decision trees without the need
for random feature selection and sub-sampling. We compare the performance of
the proposed permutation bagged decision trees with Random Forests. Our model
does not assume that the data instances are independent and identically
distributed. Potential applications include scenarios where a temporal order
present in the data instances is to be respected.
- Abstract（参考訳）: decision treeは、内部ノードの不純物を最小化することに基づく、よく知られた機械学習モデルである。
最も一般的な不純物対策はシャノンエントロピーとジーニ不純物である。
これらの不純物対策はトレーニングデータの順序に敏感であるため、得られた最終木はデータの任意の置換に不変である。
これにより、順序依存性を持つデータインスタンスのモデリングに深刻な制限が生じる。
本研究では, 初めて, 不純物測定として, 圧縮努力(etc)を用いる方法を提案する。
シャノンエントロピーやジーニの不純物とは異なり、ETCに基づく構造的不純物はデータ内の順序依存をキャプチャし、同じデータインスタンスの異なる置換に対する潜在的に異なる決定木を取得することができる(置換決定木)。
次に,無作為な特徴選択やサブサンプリングを必要とせず,順列決定木を用いた順列バッキングの概念を導入する。
提案した変分木決定木の性能をランダムフォレストと比較した。
当社のモデルは、データインスタンスが独立かつ同一分散であることを想定していません。
潜在的なアプリケーションには、データインスタンスに存在する一時的な順序を尊重するシナリオが含まれる。
関連論文リスト
- Terminating Differentiable Tree Experts [77.2443883991608]
本稿では,変圧器と表現生成器の組み合わせを用いて木操作を学習するニューラルシンボリック微分木機械を提案する。
まず、専門家の混在を導入することで、各ステップで使用される一連の異なるトランスフォーマーレイヤを取り除きます。
また,モデルが自動生成するステップ数を選択するための新しい終端アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-02T08:45:38Z) - Learning accurate and interpretable decision trees [27.203303726977616]
我々は、同じドメインから繰り返しデータにアクセスして決定木学習アルゴリズムを設計するためのアプローチを開発する。
本研究では,ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し,その結果を決定木回帰に拡張する。
また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
論文 参考訳（メタデータ） (2024-05-24T20:10:10Z) - Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。
我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
論文 参考訳（メタデータ） (2024-02-06T07:40:53Z) - Bayesian Decision Trees via Tractable Priors and Probabilistic
Context-Free Grammars [7.259767735431625]
ベイズ決定木を学習するための新しい基準を提案する。
BCART-PCFGは、データから得られる木々間の後部分布から決定木を効率的にサンプリングすることができる。
BCART-PCFGで採取した木は、優雅に構築された決定木に匹敵する性能を示した。
論文 参考訳（メタデータ） (2023-02-15T00:17:41Z) - Regularized impurity reduction: Accurate decision trees with complexity
guarantees [20.170305081348328]
本稿では,木複雑性の対数近似を保証する木推論アルゴリズムを提案する。
改良されたアルゴリズムは予測精度と木の複雑さのバランスが良好である。
論文 参考訳（メタデータ） (2022-08-23T13:15:19Z) - Hierarchical Shrinkage: improving the accuracy and interpretability of
tree-based methods [10.289846887751079]
木構造を改変しないポストホックアルゴリズムである階層収縮(Hierarchical Shrinkage, HS)を導入する。
HSは、他の正規化技術と併用しても、決定木の予測性能を大幅に向上させる。
すべてのコードとモデルはGithubにある本格的なパッケージでリリースされている。
論文 参考訳（メタデータ） (2022-02-02T02:43:23Z) - Optimal randomized classification trees [0.0]
分類と回帰木(英: Classification and Regression Trees、CART)は、現代の統計学と機械学習における既成の技術である。
CARTはgreedyプロシージャによって構築され、分割予測変数と関連するしきい値を逐次決定する。
この強欲なアプローチは、木を非常に高速に木に分類するが、その性質上、それらの分類精度は他の最先端の手順と競合しないかもしれない。
論文 参考訳（メタデータ） (2021-10-19T11:41:12Z) - Robustifying Algorithms of Learning Latent Trees with Vector Variables [92.18777020401484]
Recursive Grouping (RG) と Chow-Liu Recursive Grouping (CLRG) のサンプル複雑性について述べる。
RG,CLRG,Neighbor Joining (NJ) およびSpectral NJ (SNJ) をトラッピングした内積を用いて強化する。
我々は、潜在木の構造学習において、最初の既知のインスタンス依存の不合理性の結果を導出する。
論文 参考訳（メタデータ） (2021-06-02T01:37:52Z) - SGA: A Robust Algorithm for Partial Recovery of Tree-Structured
Graphical Models with Noisy Samples [75.32013242448151]
ノードからの観測が独立しているが非識別的に分散ノイズによって破損した場合、Ising Treeモデルの学習を検討する。
Katiyarら。
(2020) は, 正確な木構造は復元できないが, 部分木構造を復元できることを示した。
統計的に堅牢な部分木回復アルゴリズムであるSymmetrized Geometric Averaging(SGA)を提案する。
論文 参考訳（メタデータ） (2021-01-22T01:57:35Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳（メタデータ） (2020-12-29T18:05:05Z) - Convex Polytope Trees [57.56078843831244]
コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。
木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
論文 参考訳（メタデータ） (2020-10-21T19:38:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。