論文の概要: Towards Interpretable ANNs: An Exact Transformation to Multi-Class Multivariate Decision Trees

• arxiv url: http://arxiv.org/abs/2003.04675v4
• Date: Wed, 17 Nov 2021 22:35:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 20:34:33.056477
• Title: Towards Interpretable ANNs: An Exact Transformation to Multi-Class Multivariate Decision Trees
• Title（参考訳）: 解釈可能なANNに向けて:マルチクラス多変量決定木への厳密な変換
• Authors: Duy T. Nguyen, Kathryn E. Kasmarik, Hussein A. Abbass
• Abstract要約: 人工ニューラルネットワーク(ANN)からのルール抽出のための新しいアルゴリズムを2つ導入する。 Exact-Convertible Decision Tree (EC-DT) とExtended C-Netアルゴリズムを提案する。 その結果、EC-DT は ANN の構造と忠実性を維持するのに優れているが、拡張 C-Net は ANN から最もコンパクトで高効率な木を生成することが示唆された。
• 参考スコア（独自算出の注目度）: 2.9327503320877457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On the one hand, artificial neural networks (ANNs) are commonly labelled as black-boxes, lacking interpretability; an issue that hinders human understanding of ANNs' behaviors. A need exists to generate a meaningful sequential logic of the ANN for interpreting a production process of a specific output. On the other hand, decision trees exhibit better interpretability and expressive power due to their representation language and the existence of efficient algorithms to transform the trees into rules. However, growing a decision tree based on the available data could produce larger than necessary trees or trees that do not generalise well. In this paper, we introduce two novel multivariate decision tree (MDT) algorithms for rule extraction from ANNs: an Exact-Convertible Decision Tree (EC-DT) and an Extended C-Net algorithm. They both transform a neural network with Rectified Linear Unit activation functions into a representative tree, which can further be used to extract multivariate rules for reasoning. While the EC-DT translates an ANN in a layer-wise manner to represent exactly the decision boundaries implicitly learned by the hidden layers of the network, the Extended C-Net combines the decompositional approach from EC-DT with a C5 tree learning algorithm to form decision rules. The results suggest that while EC-DT is superior in preserving the structure and the fidelity of ANN, Extended C-Net generates the most compact and highly effective trees from ANN. Both proposed MDT algorithms generate rules including combinations of multiple attributes for precise interpretations for decision-making.
• Abstract（参考訳）: 一方、人工知能ニューラルネットワーク(ANN)は一般にブラックボックスと呼ばれ、解釈性に欠けており、ANNの行動に対する人間の理解を妨げる問題である。 特定の出力の生産過程を解釈するために、ANNの有意義なシーケンシャルロジックを生成する必要がある。 一方、決定木は、それらの表現言語と、木を規則に変換する効率的なアルゴリズムの存在により、より良い解釈可能性と表現力を示す。 しかし、利用可能なデータに基づいて決定木を成長させることは、うまく一般化しない必要木や木よりも大きなものを生み出す可能性がある。 本稿では,ANNから規則抽出を行う2つの新しい多変量決定木 (MDT) アルゴリズムについて紹介する。 どちらも直交した線形単位活性化関数を持つニューラルネットワークを代表木に変換し、推論のための多変量規則の抽出にも利用できる。 EC-DTはANNを階層的に翻訳し、ネットワークの隠された層によって暗黙的に学習された決定境界を正確に表現する一方、拡張C-NetはEC-DTからの分解的アプローチとC5ツリー学習アルゴリズムを組み合わせて決定ルールを形成する。 その結果、EC-DT は ANN の構造と忠実性を維持する上で優れているが、拡張 C-Net は ANN から最もコンパクトで高効率な木を生成することが示唆された。 提案されたmdtアルゴリズムは、意思決定の正確な解釈のために複数の属性の組み合わせを含む規則を生成する。

関連論文リスト

• Online Learning of Decision Trees with Thompson Sampling [12.403737756721467]
  決定木は解釈可能な機械学習のための顕著な予測モデルである。 オンライン環境で最適な決定木を生成できるモンテカルロ木探索アルゴリズムを考案した。
  論文  参考訳（メタデータ） (2024-04-09T15:53:02Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• Reinforcement Learning for Node Selection in Branch-and-Bound [52.2648997215667]
  現在の最先端セレクタは手作りのアンサンブルを使用して、ナイーブなサブノードセレクタと、個々のノードデータに依存する学習ノードセレクタを自動的に切り替える。 孤立ノードではなく木の状態全体を考慮しながら強化学習(RL)を用いる新しいシミュレーション手法を提案する。
  論文  参考訳（メタデータ） (2023-09-29T19:55:56Z)
• TreeDQN: Learning to minimize Branch-and-Bound tree [78.52895577861327]
  Branch-and-Boundは、Mixed Linear Programsという形で最適化タスクを解決するための便利なアプローチである。 解法の効率は、分割する変数を選択するのに使用される分岐に依存する。 分岐を効率的に学習できる強化学習法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T14:01:26Z)
• DecisioNet -- A Binary-Tree Structured Neural Network [0.12183405753834559]
  本稿では,二分木構造ニューラルネットワークDecisioNet(DN)を提案する。 DNの変種は、元のネットワークの計算コストを大幅に削減しつつ、同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-07-03T21:47:03Z)
• Exploring layerwise decision making in DNNs [1.766593834306011]
  ノードの離散的なサンプルアクティベーション値をバイナリ表現として符号化することにより、決定木を抽出できることが示される。 次に、モデルの各レイヤの解釈を生成するために、これらの決定木と既存の特徴属性技術を組み合わせる。
  論文  参考訳（メタデータ） (2022-02-01T11:38:59Z)
• Tree in Tree: from Decision Trees to Decision Graphs [2.2336243882030025]
  Tree in Tree decision graph (TnT)は、従来の決定木をより汎用的で強力な非巡回グラフに拡張するフレームワークである。 提案するモデルは,広く用いられている決定木に代わる,新しい,より効率的かつ正確な代替手段である。
  論文  参考訳（メタデータ） (2021-10-01T13:20:05Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Convex Polytope Trees [57.56078843831244]
  コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。 木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
  論文  参考訳（メタデータ） (2020-10-21T19:38:57Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。