論文の概要: Distillation Decision Tree

• arxiv url: http://arxiv.org/abs/2206.04661v2
• Date: Fri, 29 Sep 2023 21:46:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 21:30:40.212616
• Title: Distillation Decision Tree
• Title（参考訳）: 蒸留決定木
• Authors: Xuetao Lu and J. Jack Lee
• Abstract要約: 蒸留決定木(DDT)の方法を紹介する。 DDTは、ブラックボックスモデルから決定木へのデータに関する知識の蒸留を可能にする。 DDTの構造安定性に関する理論的基礎を確立する。 総合シミュレーション研究は、DDTが正確で信頼性の高い解釈を提供する能力を検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models, particularly the black-box models, are widely favored for their outstanding predictive capabilities. However, they often face scrutiny and criticism due to the lack of interpretability. Paradoxically, their strong predictive capabilities suggest a deep understanding about the underlying data, implying significant potential for interpretation. Leveraging the emerging concept of knowledge distillation, we introduced the method of distillation decision tree (DDT). This method enables the distillation of knowledge about the data from a black-box model into a decision tree, thereby facilitating the interpretation of the black-box model. Constructed through the knowledge distillation process, the interpretability of DDT relies significantly on the stability of its structure. We establish the theoretical foundations for the structural stability of DDT, demonstrating that its structure can achieve stability under mild assumptions. Furthermore, we develop algorithms for efficient construction of (hybrid) DDTs. A comprehensive simulation study validates DDT's ability to provide accurate and reliable interpretations. Additionally, we explore potential application scenarios and provide corresponding case studies to illustrate how DDT can be applied to real-world problems.
• Abstract（参考訳）: 機械学習モデル、特にブラックボックスモデルは、その優れた予測能力で広く好まれている。 しかし、解釈可能性の欠如により、しばしば精査や批判に直面している。 パラドックス的に、その強い予測能力は基礎となるデータに対する深い理解を示唆し、解釈のかなりの可能性を示唆している。 知識蒸留の概念を取り入れた蒸留決定木(DDT)の導入を行った。 この方法は、ブラックボックスモデルから決定木へのデータに関する知識の蒸留を可能にし、ブラックボックスモデルの解釈を容易にする。 知識蒸留によって構築されたDDTの解釈可能性はその構造安定性に大きく依存する。 我々は,DDTの構造安定性の理論基盤を確立し,その構造が軽微な仮定の下で安定性を達成できることを実証した。 さらに,DDTを効率的に構築するためのアルゴリズムを開発した。 総合シミュレーション研究は、DDTが正確で信頼性の高い解釈を提供する能力を検証する。 さらに、潜在的なアプリケーションシナリオを検討し、実世界の問題に対してDDTをどのように適用できるかを説明するためのケーススタディを提供する。

関連論文リスト

• Towards a Theoretical Understanding of Memorization in Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(GenAI)の主流モデルとして採用されている。 モデル収束を前提とした条件付きおよび非条件付きDPMにおける記憶の理論的理解を提供する。 本研究では、生成されたデータに基づいて訓練された時間依存型分類器を代理条件として利用し、無条件DPMからトレーニングデータを抽出する、textbfSurrogate condItional Data extract (SIDE) という新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:17:06Z)
• Explainable AI models for predicting liquefaction-induced lateral spreading [1.6221957454728797]
  機械学習は横方向の拡散予測モデルを改善することができる。 機械学習モデルの“ブラックボックス”の性質は、重要な意思決定における採用を妨げる可能性がある。 この研究は、信頼性と情報的意思決定のための説明可能な機械学習の価値を強調している。
  論文  参考訳（メタデータ） (2024-04-24T16:25:52Z)
• Towards Understanding the Robustness of Diffusion-Based Purification: A Stochastic Perspective [65.10019978876863]
  拡散性浄化(DBP)は、敵の攻撃に対する効果的な防御機構として出現している。 本稿では、DBPプロセスの本質が、その堅牢性の主要な要因であると主張している。
  論文  参考訳（メタデータ） (2024-04-22T16:10:38Z)
• TIE-KD: Teacher-Independent and Explainable Knowledge Distillation for Monocular Depth Estimation [1.03590082373586]
  本稿では、複雑な教師モデルからコンパクトな学生ネットワークへの知識伝達を合理化するTIE-KD(Teacher-Independent Explainable Knowledge Distillation)フレームワークを紹介する。 TIE-KDの基盤はDPM(Depth Probability Map)であり、教師の出力を解釈する説明可能な特徴マップである。 KITTIデータセットの大規模な評価は、TIE-KDが従来の応答に基づくKD法より優れているだけでなく、多様な教師や学生のアーキテクチャで一貫した有効性を示すことを示している。
  論文  参考訳（メタデータ） (2024-02-22T07:17:30Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• Optimal Interpretability-Performance Trade-off of Classification Trees with Black-Box Reinforcement Learning [0.0]
  AIモデルの解釈可能性により、モデルの信頼性を構築するためのユーザ安全チェックが可能になる。 決定木(DT)は、学習したモデルに関するグローバルな見解を提供し、与えられたデータを分類するのに重要な機能の役割を明確に概説する。 コンパクトツリーを学習するために、最近DTの空間を探求する強化学習フレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-11T09:43:23Z)
• Estimate Deformation Capacity of Non-Ductile RC Shear Walls using Explainable Boosting Machine [0.0]
  本研究の目的は,非延性鉄筋コンクリートせん断壁の変形能力を予測するための,完全に説明可能な機械学習モデルを開発することである。 提案された Explainable Boosting Machines (EBM) ベースのモデルは、解釈可能で堅牢で、自然に説明可能なガラス箱モデルであるが、ブラックボックスモデルに匹敵する高い精度を提供する。
  論文  参考訳（メタデータ） (2023-01-11T09:20:29Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)
• Provably Robust Model-Centric Explanations for Critical Decision-Making [14.367217955827002]
  データ中心の手法は、限られた実用性についての脆い説明をもたらす可能性がある。 しかし、モデル中心のフレームワークは、実際にAIモデルを使用するリスクに関する実用的な洞察を提供することができる。
  論文  参考訳（メタデータ） (2021-10-26T18:05:49Z)
• Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning [66.01622034708319]
  我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。 我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。 次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:25Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。