論文の概要: Exploring layerwise decision making in DNNs

• arxiv url: http://arxiv.org/abs/2202.00345v1
• Date: Tue, 1 Feb 2022 11:38:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 19:52:15.858324
• Title: Exploring layerwise decision making in DNNs
• Title（参考訳）: DNNにおける階層的意思決定の探索
• Authors: Coenraad Mouton and Marelie H. Davel
• Abstract要約: ノードの離散的なサンプルアクティベーション値をバイナリ表現として符号化することにより、決定木を抽出できることが示される。 次に、モデルの各レイヤの解釈を生成するために、これらの決定木と既存の特徴属性技術を組み合わせる。
• 参考スコア（独自算出の注目度）: 1.766593834306011
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While deep neural networks (DNNs) have become a standard architecture for many machine learning tasks, their internal decision-making process and general interpretability is still poorly understood. Conversely, common decision trees are easily interpretable and theoretically well understood. We show that by encoding the discrete sample activation values of nodes as a binary representation, we are able to extract a decision tree explaining the classification procedure of each layer in a ReLU-activated multilayer perceptron (MLP). We then combine these decision trees with existing feature attribution techniques in order to produce an interpretation of each layer of a model. Finally, we provide an analysis of the generated interpretations, the behaviour of the binary encodings and how these relate to sample groupings created during the training process of the neural network.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は多くの機械学習タスクの標準アーキテクチャとなっているが、内部決定プロセスと一般的な解釈可能性はまだ理解されていない。 逆に、一般的な決定木は容易に解釈でき、理論的によく理解される。 ノードの離散的なサンプル活性化値をバイナリ表現として符号化することにより、ReLU活性化多層パーセプトロン(MLP)において各レイヤの分類手順を説明する決定木を抽出できることを示す。 次に、モデルの各レイヤの解釈を生成するために、これらの決定木と既存の特徴属性技術を組み合わせる。 最後に、生成された解釈、バイナリエンコーディングの振る舞い、ニューラルネットワークのトレーニングプロセス中に生成されたサンプルグルーピングとの関連性について分析する。

関連論文リスト

• GINN-KAN: Interpretability pipelining with applications in Physics Informed Neural Networks [5.2969467015867915]
  本稿では,解釈可能性パイプラインの概念を導入し,複数の解釈可能性技術を導入し,各手法の精度を向上する。 我々は、標準的なニューラルネットワークアーキテクチャに解釈可能性を導入する可能性のために選択された2つの最近のモデルを評価する。 両モデルの利点を合成する新しい解釈可能なニューラルネットワークGINN-KANを提案する。
  論文  参考訳（メタデータ） (2024-08-27T04:57:53Z)
• Reasoning with trees: interpreting CNNs using hierarchies [3.6763102409647526]
  畳み込みニューラルネットワーク(CNN)の忠実かつ解釈可能な説明に階層的セグメンテーション技術を用いるフレームワークを導入する。 本手法はモデルの推論忠実性を維持するモデルに基づく階層的セグメンテーションを構築する。 実験により、我々のフレームワークであるxAiTreesが高度に解釈可能で忠実なモデル説明を提供することが示された。
  論文  参考訳（メタデータ） (2024-06-19T06:45:19Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Finding Representative Interpretations on Convolutional Neural Networks [43.25913447473829]
  我々は、多数の類似画像に対して非常に代表的な解釈を生成するために、新しい教師なしのアプローチを開発する。 我々は,共クラスタリング問題として代表解釈を求める問題を定式化し,それをサブモジュラーコストのサブモジュラーカバー問題に変換する。 提案手法の優れた性能を示す実験を行った。
  論文  参考訳（メタデータ） (2021-08-13T20:17:30Z)
• Interpreting Deep Learning Model Using Rule-based Method [36.01435823818395]
  本稿では,ディープニューラルネットワークモデルに対する包括的解釈を提供するための多段階決定フレームワークを提案する。 各ニューロンに決定木を合わせ、それらを集約することにより、最初はマルチレベル決定構造(MLD)を構築する。 MNISTとNational Free Pre-Pregnancy Check-upデータセットの実験を行い、MDDフレームワークの有効性と解釈性を示した。
  論文  参考訳（メタデータ） (2020-10-15T15:30:00Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Sparse Coding Driven Deep Decision Tree Ensembles for Nuclear Segmentation in Digital Pathology Images [15.236873250912062]
  デジタル病理画像セグメンテーションタスクにおいて、ディープニューラルネットワークと高い競争力を持つ、容易に訓練されながら強力な表現学習手法を提案する。 ScD2TEと略すこの手法はスパースコーディング駆動の深層決定木アンサンブルと呼ばれ、表現学習の新しい視点を提供する。
  論文  参考訳（メタデータ） (2020-08-13T02:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。