論文の概要: Cause and Effect: Concept-based Explanation of Neural Networks

• arxiv url: http://arxiv.org/abs/2105.07033v1
• Date: Fri, 14 May 2021 18:54:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 14:40:17.174898
• Title: Cause and Effect: Concept-based Explanation of Neural Networks
• Title（参考訳）: 原因と効果:概念に基づくニューラルネットワークの説明
• Authors: Mohammad Nokhbeh Zaeem and Majid Komeili
• Abstract要約: ニューロンの内部表現や概念に対するニューロンの活性化を調べることで、ニューラルネットワークの解釈可能性の一歩を踏み出します。 概念(またはその否定)とタスククラスの間の因果関係の存在を確認するためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.883460584034766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many scenarios, human decisions are explained based on some high-level concepts. In this work, we take a step in the interpretability of neural networks by examining their internal representation or neuron's activations against concepts. A concept is characterized by a set of samples that have specific features in common. We propose a framework to check the existence of a causal relationship between a concept (or its negation) and task classes. While the previous methods focus on the importance of a concept to a task class, we go further and introduce four measures to quantitatively determine the order of causality. Through experiments, we demonstrate the effectiveness of the proposed method in explaining the relationship between a concept and the predictive behaviour of a neural network.
• Abstract（参考訳）: 多くのシナリオでは、高いレベルの概念に基づいて人間の決定が説明されます。 本研究では,その内的表現や概念に対するニューロンの活性化を調べることで,ニューラルネットワークの解釈可能性の一歩を踏み出した。 概念は、特定の特徴が共通する一連のサンプルによって特徴づけられる。 概念(またはその否定)とタスククラスの間に因果関係が存在するかをチェックするフレームワークを提案する。 従来の手法では,タスククラスに対する概念の重要性を重視していたが,さらに4つの尺度を導入し,因果関係の順序を定量的に決定する。 実験を通じて,ニューラルネットワークの概念と予測行動の関係を説明する上で,提案手法の有効性を実証する。

関連論文リスト

• LLM-assisted Concept Discovery: Automatically Identifying and Explaining Neuron Functions [15.381209058506078]
  以前の研究は、概念の例や事前に定義された概念のセットに基づいて、ニューロンに関連づけられた概念を持っている。 本稿では,マルチモーダルな大規模言語モデルを用いて,自動的かつオープンな概念発見を提案する。 我々は,この新たな画像に対して,サンプルと反例を生成し,ニューロンの反応を評価することにより,それぞれの概念を検証する。
  論文  参考訳（メタデータ） (2024-06-12T18:19:37Z)
• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Understanding Distributed Representations of Concepts in Deep Neural Networks without Supervision [25.449397570387802]
  本稿では,ニューロンの主部分集合を選択することによって,概念の分散表現を発見する教師なし手法を提案する。 我々の経験から、類似のニューロン活性化状態のインスタンスはコヒーレントな概念を共有する傾向があることが示されている。 データ内のラベルなしサブクラスを特定し、誤分類の原因を検出するために利用することができる。
  論文  参考訳（メタデータ） (2023-12-28T07:33:51Z)
• From Neural Activations to Concepts: A Survey on Explaining Concepts in Neural Networks [15.837316393474403]
  概念は学習と推論の自然な結びつきとして機能する。 知識はニューラルネットワークから抽出できるだけでなく、概念知識をニューラルネットワークアーキテクチャに挿入することもできる。
  論文  参考訳（メタデータ） (2023-10-18T11:08:02Z)
• Unit Testing for Concepts in Neural Networks [20.86261546611472]
  本稿では,システムの動作がFodorの基準と一致しているかどうかを評価するためのユニットテストを提案する。 モデルが基礎性、モジュラリティ、概念の再使用性のテストで成功することは分かっていますが、因果性に関する重要な疑問は未解決のままです。
  論文  参考訳（メタデータ） (2022-07-28T08:49:32Z)
• Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
  概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。 次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。 最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
  論文  参考訳（メタデータ） (2022-02-25T01:27:31Z)
• Towards Interpretable Reasoning over Paragraph Effects in Situation [126.65672196760345]
  我々は,原因と効果を理解するためのモデルを必要とする状況において,段落効果を推論する作業に焦点をあてる。 本稿では,ニューラルネットワークモジュールを用いた推論プロセスの各ステップを明示的にモデル化する逐次的手法を提案する。 特に、5つの推論モジュールはエンドツーエンドで設計され、学習され、より解釈可能なモデルにつながる。
  論文  参考訳（メタデータ） (2020-10-03T04:03:52Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。