論文の概要: Knowledge Distillation Decision Tree for Unravelling Black-box Machine Learning Models

• arxiv url: http://arxiv.org/abs/2206.04661v4
• Date: Fri, 04 Apr 2025 18:13:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 17:32:48.529895
• Title: Knowledge Distillation Decision Tree for Unravelling Black-box Machine Learning Models
• Title（参考訳）: ブラックボックス学習モデル構築のための知識蒸留決定木
• Authors: Xuetao Lu, J. Jack Lee,
• Abstract要約: 我々は知識蒸留決定木(KDDT)の方法を紹介する。 KDDTは、ブラックボックスモデルから決定木へのデータに関する知識の蒸留を可能にする。 ハイブリッドKDDTを構築するための効率的なアルゴリズムを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Machine learning models, particularly the black-box models, are widely favored for their outstanding predictive capabilities. However, they often face scrutiny and criticism due to the lack of interpretability. Paradoxically, their strong predictive capabilities may indicate a deep understanding of the underlying data, implying significant potential for interpretation. Leveraging the emerging concept of knowledge distillation, we introduce the method of knowledge distillation decision tree (KDDT). This method enables the distillation of knowledge about the data from a black-box model into a decision tree, thereby facilitating the interpretation of the black-box model. Essential attributes for a good interpretable model include simplicity, stability, and predictivity. The primary challenge of constructing interpretable tree lies in ensuring structural stability under the randomness of the training data. KDDT is developed with the theoretical foundations demonstrating that structure stability can be achieved under mild assumptions. Furthermore, we propose the hybrid KDDT to achieve both simplicity and predictivity. An efficient algorithm is provided for constructing the hybrid KDDT. Simulation studies and a real-data analysis validate the hybrid KDDT's capability to deliver accurate and reliable interpretations. KDDT is an excellent interpretable model with great potential for practical applications.
• Abstract（参考訳）: 機械学習モデル、特にブラックボックスモデルは、その卓越した予測能力に対して広く支持されている。 しかし、解釈可能性の欠如により、しばしば精査や批判に直面している。 パラドックス的には、その強い予測能力は、基礎となるデータの深い理解を示し、解釈の有意義な可能性を示唆している。 知識蒸留の新たな概念を活用し,知識蒸留決定木(KDDT)の手法を導入する。 この方法は、ブラックボックスモデルから決定木へのデータに関する知識の蒸留を可能にし、ブラックボックスモデルの解釈を容易にする。 優れた解釈可能なモデルに不可欠な属性は、単純さ、安定性、予測性である。 解釈可能な木を構築する主な課題は、トレーニングデータのランダム性の下で構造安定性を確保することである。 KDDTは、構造安定性が穏やかな仮定の下で達成可能であることを示す理論的基礎と共に開発されている。 さらに, 簡易性と予測性を両立させるハイブリッドKDDTを提案する。 ハイブリッドKDDTを構築するための効率的なアルゴリズムを提供する。 シミュレーション研究と実データ解析は、高精度で信頼性の高い解釈を提供するハイブリッドKDDTの能力を検証する。 KDDTは優れた解釈可能なモデルであり、実用上大きな可能性を秘めている。

関連論文リスト

• Explainable AI models for predicting liquefaction-induced lateral spreading [1.6221957454728797]
  機械学習は横方向の拡散予測モデルを改善することができる。 機械学習モデルの“ブラックボックス”の性質は、重要な意思決定における採用を妨げる可能性がある。 この研究は、信頼性と情報的意思決定のための説明可能な機械学習の価値を強調している。
  論文  参考訳（メタデータ） (2024-04-24T16:25:52Z)
• Towards Understanding the Robustness of Diffusion-Based Purification: A Stochastic Perspective [65.10019978876863]
  拡散性浄化(DBP)は、敵の攻撃に対する効果的な防御機構として出現している。 本稿では、DBPプロセスの本質が、その堅牢性の主要な要因であると主張している。
  論文  参考訳（メタデータ） (2024-04-22T16:10:38Z)
• TIE-KD: Teacher-Independent and Explainable Knowledge Distillation for Monocular Depth Estimation [1.03590082373586]
  本稿では、複雑な教師モデルからコンパクトな学生ネットワークへの知識伝達を合理化するTIE-KD(Teacher-Independent Explainable Knowledge Distillation)フレームワークを紹介する。 TIE-KDの基盤はDPM(Depth Probability Map)であり、教師の出力を解釈する説明可能な特徴マップである。 KITTIデータセットの大規模な評価は、TIE-KDが従来の応答に基づくKD法より優れているだけでなく、多様な教師や学生のアーキテクチャで一貫した有効性を示すことを示している。
  論文  参考訳（メタデータ） (2024-02-22T07:17:30Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• Knowledge Distillation Performs Partial Variance Reduction [93.6365393721122]
  知識蒸留は'学生'モデルの性能を高めるための一般的な手法である。 知識蒸留(KD)の背後にある力学は、まだ完全には理解されていない。 我々は,KDを新しいタイプの分散還元機構として解釈できることを示す。
  論文  参考訳（メタデータ） (2023-05-27T21:25:55Z)
• Optimal Interpretability-Performance Trade-off of Classification Trees with Black-Box Reinforcement Learning [0.0]
  AIモデルの解釈可能性により、モデルの信頼性を構築するためのユーザ安全チェックが可能になる。 決定木(DT)は、学習したモデルに関するグローバルな見解を提供し、与えられたデータを分類するのに重要な機能の役割を明確に概説する。 コンパクトツリーを学習するために、最近DTの空間を探求する強化学習フレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-11T09:43:23Z)
• Estimate Deformation Capacity of Non-Ductile RC Shear Walls using Explainable Boosting Machine [0.0]
  本研究の目的は,非延性鉄筋コンクリートせん断壁の変形能力を予測するための,完全に説明可能な機械学習モデルを開発することである。 提案された Explainable Boosting Machines (EBM) ベースのモデルは、解釈可能で堅牢で、自然に説明可能なガラス箱モデルであるが、ブラックボックスモデルに匹敵する高い精度を提供する。
  論文  参考訳（メタデータ） (2023-01-11T09:20:29Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)
• Provably Robust Model-Centric Explanations for Critical Decision-Making [14.367217955827002]
  データ中心の手法は、限られた実用性についての脆い説明をもたらす可能性がある。 しかし、モデル中心のフレームワークは、実際にAIモデルを使用するリスクに関する実用的な洞察を提供することができる。
  論文  参考訳（メタデータ） (2021-10-26T18:05:49Z)
• Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning [66.01622034708319]
  我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。 我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。 次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:25Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。