論文の概要: Visualizing the diversity of representations learned by Bayesian neural networks

• arxiv url: http://arxiv.org/abs/2201.10859v1
• Date: Wed, 26 Jan 2022 10:40:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 13:38:04.724730
• Title: Visualizing the diversity of representations learned by Bayesian neural networks
• Title（参考訳）: ベイズニューラルネットワークによる表現の多様性の可視化
• Authors: Dennis Grinwald, Kirill Bykov, Shinichi Nakajima, Marina M.-C. H\"ohne
• Abstract要約: ベイジアンニューラルネットワーク(BNN)で学習した特徴表現の多様性を探索し可視化するために,XAI手法がどう利用できるかを検討する。 我々の研究は、人間の理解可能な特徴情報の観点から、下層の意思決定戦略に関して、後部分布に関する新たな洞察を提供する。
• 参考スコア（独自算出の注目度）: 3.3397023184154615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainable artificial intelligence (XAI) aims to make learning machines less opaque, and offers researchers and practitioners various tools to reveal the decision-making strategies of neural networks. In this work, we investigate how XAI methods can be used for exploring and visualizing the diversity of feature representations learned by Bayesian neural networks (BNNs). Our goal is to provide a global understanding of BNNs by making their decision-making strategies a) visible and tangible through feature visualizations and b) quantitatively measurable with a distance measure learned by contrastive learning. Our work provides new insights into the posterior distribution in terms of human-understandable feature information with regard to the underlying decision-making strategies. Our main findings are the following: 1) global XAI methods can be applied to explain the diversity of decision-making strategies of BNN instances, 2) Monte Carlo dropout exhibits increased diversity in feature representations compared to the multimodal posterior approximation of MultiSWAG, 3) the diversity of learned feature representations highly correlates with the uncertainty estimates, and 4) the inter-mode diversity of the multimodal posterior decreases as the network width increases, while the intra-mode diversity increases. Our findings are consistent with the recent deep neural networks theory, providing additional intuitions about what the theory implies in terms of humanly understandable concepts.
• Abstract（参考訳）: 説明可能な人工知能(XAI)は、学習機械を不透明にすることを目的としており、研究者や実践者がニューラルネットワークの意思決定戦略を明らかにするための様々なツールを提供する。 本研究では,ベイズニューラルネットワーク(BNN)で学習した特徴表現の多様性を探索し,可視化するために,XAI手法をどのように利用できるかを検討する。 私たちのゴールは、意思決定戦略によってBNNのグローバルな理解を提供することです。 a) 特徴の可視化による可視性及び視認性 b) 対照学習によって学習される距離尺度で定量的に測定できる。 本研究は,基本的な意思決定戦略に関して,人間理解可能な特徴情報の観点からの後方分布に関する新たな知見を提供する。 主な発見は以下のとおりである。 1)グローバルXAI手法を用いて,BNNインスタンスの意思決定戦略の多様性を説明する。 2)モンテカルロドロップアウトはマルチスワグのマルチモーダル後方近似と比較して特徴表現の多様性が増大する。 3)学習特徴表現の多様性は,不確実性推定と高い相関を示し, 4)マルチモーダル後方のモード間多様性は,ネットワーク幅の増加とともに減少し,モード内多様性は増加する。 我々の発見は、最近のディープニューラルネットワーク理論と一致しており、この理論が人間の理解可能な概念の観点で何を意味するのか、さらに直観を与えている。

関連論文リスト

• Neural Networks Decoded: Targeted and Robust Analysis of Neural Network Decisions via Causal Explanations and Reasoning [9.947555560412397]
  本稿では、因果推論理論に基づく新しい手法TRACERを紹介し、DNN決定の根底にある因果ダイナミクスを推定する。 提案手法は入力特徴に系統的に介入し,特定の変化がネットワークを介してどのように伝播するかを観察し,内部の活性化と最終的な出力に影響を与える。 TRACERはさらに、モデルバイアスの可能性のある反ファクトを生成することで説明可能性を高め、誤分類に対する対照的な説明を提供する。
  論文  参考訳（メタデータ） (2024-10-07T20:44:53Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Finding Representative Interpretations on Convolutional Neural Networks [43.25913447473829]
  我々は、多数の類似画像に対して非常に代表的な解釈を生成するために、新しい教師なしのアプローチを開発する。 我々は,共クラスタリング問題として代表解釈を求める問題を定式化し,それをサブモジュラーコストのサブモジュラーカバー問題に変換する。 提案手法の優れた性能を示す実験を行った。
  論文  参考訳（メタデータ） (2021-08-13T20:17:30Z)
• Joint Embedding of Structural and Functional Brain Networks with Graph Neural Networks for Mental Illness Diagnosis [17.48272758284748]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データを解析するためのデファクトモデルとなっている。 我々はマルチモーダル脳ネットワークのための新しいマルチビューGNNを開発した。 特に、各モダリティを脳ネットワークの視点とみなし、マルチモーダル融合のためのコントラスト学習を採用する。
  論文  参考訳（メタデータ） (2021-07-07T13:49:57Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)
• Hold me tight! Influence of discriminative features on deep network boundaries [63.627760598441796]
  本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
  論文  参考訳（メタデータ） (2020-02-15T09:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。