論文の概要: Distillation Decision Tree

• arxiv url: http://arxiv.org/abs/2206.04661v1
• Date: Thu, 9 Jun 2022 17:57:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 16:29:37.445349
• Title: Distillation Decision Tree
• Title（参考訳）: 蒸留決定木
• Authors: Xuetao Lu and J. Jack Lee
• Abstract要約: ブラックボックス機械学習モデルは解釈可能性に欠けていると批判されている。 知識蒸留(KD)はブラックボックスモデルを解釈する新しいツールである。 我々は、この種の決定木を蒸留決定木(DDT)と命名する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Black-box machine learning models are criticized as lacking interpretability, although they tend to have good prediction accuracy. Knowledge Distillation (KD) is an emerging tool to interpret the black-box model by distilling its knowledge into a transparent model. With well-known advantages in interpretation, decision tree is a competitive candidate of the transparent model. However, theoretical or empirical understanding for the decision tree generated from KD process is limited. In this paper, we name this kind of decision tree the distillation decision tree (DDT) and lay the theoretical foundations for tree structure stability which determines the validity of DDT's interpretation. We prove that the structure of DDT can achieve stable (convergence) under some mild assumptions. Meanwhile, we develop algorithms for stabilizing the induction of DDT, propose parallel strategies for improving algorithm's computational efficiency, and introduce a marginal principal component analysis method for overcoming the curse of dimensionality in sampling. Simulated and real data studies justify our theoretical results, validate the efficacy of algorithms, and demonstrate that DDT can strike a good balance between model's prediction accuracy and interpretability.
• Abstract（参考訳）: ブラックボックス機械学習モデルは、予測精度が良いが、解釈可能性に欠けていると批判されている。 知識蒸留(KD)は、知識を透明なモデルに蒸留することでブラックボックスモデルを解釈する新しいツールである。 よく知られた解釈上の利点により、決定木は透明モデルの競合候補である。 しかし、KD過程から生成された決定木に対する理論的あるいは経験的な理解は限られている。 本稿では, この種の決定木を蒸留決定木 (ddt) と命名し, ddt の解釈の有効性を判定する木構造の安定性に関する理論的基礎を提示する。 DDTの構造がある程度の軽微な仮定で安定(収束)できることを示す。 一方, ddtの誘導を安定化するアルゴリズムを開発し, アルゴリズムの計算効率を向上させるための並列戦略を提案し, サンプリングにおける次元の呪いを克服するための限界主成分分析法を提案する。 シミュレーションおよび実データ研究は、我々の理論結果を正当化し、アルゴリズムの有効性を検証し、DDTがモデルの予測精度と解釈可能性の間に良いバランスをとれることを示す。

関連論文リスト

• Towards a Theoretical Understanding of Memorization in Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(GenAI)の主流モデルとして採用されている。 モデル収束を前提とした条件付きおよび非条件付きDPMにおける記憶の理論的理解を提供する。 本研究では、生成されたデータに基づいて訓練された時間依存型分類器を代理条件として利用し、無条件DPMからトレーニングデータを抽出する、textbfSurrogate condItional Data extract (SIDE) という新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:17:06Z)
• Explainable AI models for predicting liquefaction-induced lateral spreading [1.6221957454728797]
  機械学習は横方向の拡散予測モデルを改善することができる。 機械学習モデルの“ブラックボックス”の性質は、重要な意思決定における採用を妨げる可能性がある。 この研究は、信頼性と情報的意思決定のための説明可能な機械学習の価値を強調している。
  論文  参考訳（メタデータ） (2024-04-24T16:25:52Z)
• Towards Understanding the Robustness of Diffusion-Based Purification: A Stochastic Perspective [65.10019978876863]
  拡散性浄化(DBP)は、敵の攻撃に対する効果的な防御機構として出現している。 本稿では、DBPプロセスの本質が、その堅牢性の主要な要因であると主張している。
  論文  参考訳（メタデータ） (2024-04-22T16:10:38Z)
• TIE-KD: Teacher-Independent and Explainable Knowledge Distillation for Monocular Depth Estimation [1.03590082373586]
  本稿では、複雑な教師モデルからコンパクトな学生ネットワークへの知識伝達を合理化するTIE-KD(Teacher-Independent Explainable Knowledge Distillation)フレームワークを紹介する。 TIE-KDの基盤はDPM(Depth Probability Map)であり、教師の出力を解釈する説明可能な特徴マップである。 KITTIデータセットの大規模な評価は、TIE-KDが従来の応答に基づくKD法より優れているだけでなく、多様な教師や学生のアーキテクチャで一貫した有効性を示すことを示している。
  論文  参考訳（メタデータ） (2024-02-22T07:17:30Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• Optimal Interpretability-Performance Trade-off of Classification Trees with Black-Box Reinforcement Learning [0.0]
  AIモデルの解釈可能性により、モデルの信頼性を構築するためのユーザ安全チェックが可能になる。 決定木(DT)は、学習したモデルに関するグローバルな見解を提供し、与えられたデータを分類するのに重要な機能の役割を明確に概説する。 コンパクトツリーを学習するために、最近DTの空間を探求する強化学習フレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-11T09:43:23Z)
• Estimate Deformation Capacity of Non-Ductile RC Shear Walls using Explainable Boosting Machine [0.0]
  本研究の目的は,非延性鉄筋コンクリートせん断壁の変形能力を予測するための,完全に説明可能な機械学習モデルを開発することである。 提案された Explainable Boosting Machines (EBM) ベースのモデルは、解釈可能で堅牢で、自然に説明可能なガラス箱モデルであるが、ブラックボックスモデルに匹敵する高い精度を提供する。
  論文  参考訳（メタデータ） (2023-01-11T09:20:29Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)
• Provably Robust Model-Centric Explanations for Critical Decision-Making [14.367217955827002]
  データ中心の手法は、限られた実用性についての脆い説明をもたらす可能性がある。 しかし、モデル中心のフレームワークは、実際にAIモデルを使用するリスクに関する実用的な洞察を提供することができる。
  論文  参考訳（メタデータ） (2021-10-26T18:05:49Z)
• Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning [66.01622034708319]
  我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。 我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。 次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:25Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。