論文の概要: Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning

• arxiv url: http://arxiv.org/abs/2008.09413v1
• Date: Fri, 21 Aug 2020 10:45:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 21:00:18.561301
• Title: Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning
• Title（参考訳）: rectified decision tree: 解釈可能かつ効果的な機械学習の展望を探る
• Authors: Yiming Li, Jiawang Bai, Jiawei Li, Xue Yang, Yong Jiang, Shu-Tao Xia
• Abstract要約: 我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。 我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。 次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
• 参考スコア（独自算出の注目度）: 66.01622034708319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interpretability and effectiveness are two essential and indispensable requirements for adopting machine learning methods in reality. In this paper, we propose a knowledge distillation based decision trees extension, dubbed rectified decision trees (ReDT), to explore the possibility of fulfilling those requirements simultaneously. Specifically, we extend the splitting criteria and the ending condition of the standard decision trees, which allows training with soft labels while preserving the deterministic splitting paths. We then train the ReDT based on the soft label distilled from a well-trained teacher model through a novel jackknife-based method. Accordingly, ReDT preserves the excellent interpretable nature of the decision trees while having a relatively good performance. The effectiveness of adopting soft labels instead of hard ones is also analyzed empirically and theoretically. Surprisingly, experiments indicate that the introduction of soft labels also reduces the model size compared with the standard decision trees from the aspect of the total nodes and rules, which is an unexpected gift from the `dark knowledge' distilled from the teacher model.
• Abstract（参考訳）: 解釈性と有効性は、実際に機械学習手法を採用する上で必須かつ不可欠の2つの要件である。 本稿では,これらの要件を同時に満たす可能性を検討するために,知識蒸留に基づく決定木拡張(rerectified decision tree, ReDT)を提案する。 具体的には,標準決定木の分割基準と終了条件を拡張し,決定論的分割パスを保ちながらソフトラベルによるトレーニングを可能にする。 次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。 したがって、レットは、比較的良好な性能を保ちながら、決定木の優れた解釈可能な性質を維持する。 ハードラベルの代わりにソフトラベルを採用する効果も経験的および理論的に分析した。 驚くべきことに、ソフトラベルの導入は、教師モデルから蒸留された'ダーク知識'から予期せぬ贈り物である総ノードとルールの側面から、標準決定木と比較して、モデルのサイズを減少させることを示している。

関連論文リスト

• FoLDTree: A ULDA-Based Decision Tree Framework for Efficient Oblique Splits and Feature Selection [6.087464679182875]
  LDATreeとFoldTreeは、Uncorrelated Linear Discriminant Analysis (ULDA)とForward ULDAを決定木構造に統合する。 LDATree と FoLDTree は軸直交およびその他の斜め決定木法より一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-30T16:03:51Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• Optimal Decision Diagrams for Classification [68.72078059880018]
  数学的プログラミングの観点から最適決定図の学習について検討する。 本稿では,新しい混合整数線形プログラミングモデルを提案する。 このモデルは、公正性、同義性、安定性の概念に対してどのように容易に拡張できるかを示す。
  論文  参考訳（メタデータ） (2022-05-28T18:31:23Z)
• EiFFFeL: Enforcing Fairness in Forests by Flipping Leaves [5.08078625937586]
  落葉樹による森林の公正化を図るため,EiFFFeLと呼ばれる公正化手法を提案する。 実験結果から,提案手法は精度を低下させることなく,ユーザ定義したグループフェアネスの度合いを達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-12-29T07:48:38Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Optimal randomized classification trees [0.0]
  分類と回帰木(英: Classification and Regression Trees、CART)は、現代の統計学と機械学習における既成の技術である。 CARTはgreedyプロシージャによって構築され、分割予測変数と関連するしきい値を逐次決定する。 この強欲なアプローチは、木を非常に高速に木に分類するが、その性質上、それらの分類精度は他の最先端の手順と競合しないかもしれない。
  論文  参考訳（メタデータ） (2021-10-19T11:41:12Z)
• Making CNNs Interpretable by Building Dynamic Sequential Decision Forests with Top-down Hierarchy Learning [62.82046926149371]
  本稿では,CNN(Convlutional Neural Networks)を解釈可能なモデル転送方式を提案する。 我々は、CNNの上に微分可能な意思決定林を構築することで、これを実現する。 DDSDF(Dep Dynamic Sequential Decision Forest)と命名する。
  論文  参考訳（メタデータ） (2021-06-05T07:41:18Z)
• Learning Accurate Decision Trees with Bandit Feedback via Quantized Gradient Descent [18.7724096545556]
  決定木は非常に非線形で効率的なモデルの豊かな家族を提供します。 しかし、ツリーの学習は、非常に離散的で差別化できない決定境界のために難しい問題です。 より条件のよい勾配を与える木学習問題の定式化を提案する。
  論文  参考訳（メタデータ） (2021-02-15T14:10:07Z)
• Fair Training of Decision Tree Classifiers [6.381149074212897]
  決定木アンサンブルの個々の公平性を公式に検証する問題を研究する。 本手法では,公平性検証と公正性認識トレーニングはどちらも,分類モデルの安定性の概念に依存している。
  論文  参考訳（メタデータ） (2021-01-04T12:04:22Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。