Fugu-MT 論文翻訳(概要): Defining and Quantifying the Emergence of Sparse Concepts in DNNs

論文の概要: Defining and Quantifying the Emergence of Sparse Concepts in DNNs

arxiv url: http://arxiv.org/abs/2111.06206v6
Date: Mon, 3 Apr 2023 12:02:02 GMT
ステータス: 処理完了
システム内更新日: 2023-04-05 01:53:22.937046
Title: Defining and Quantifying the Emergence of Sparse Concepts in DNNs
Title（参考訳）: DNNにおけるスパース概念の創発的定義と定量化
Authors: Jie Ren, Mingjie Li, Qirui Chen, Huiqi Deng, Quanshi Zhang
Abstract要約: 本稿では,DNNの学習におけるコンセプト・エメージング現象を説明することを目的とする。 DNNの推論スコアは、いくつかのインタラクティブな概念の影響に逆らうことができる。これらの概念はスパースなシンボリック因果グラフにおける因果パターンとして理解することができる。
参考スコア（独自算出の注目度）: 27.412473502686446
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper aims to illustrate the concept-emerging phenomenon in a trained DNN. Specifically, we find that the inference score of a DNN can be disentangled into the effects of a few interactive concepts. These concepts can be understood as causal patterns in a sparse, symbolic causal graph, which explains the DNN. The faithfulness of using such a causal graph to explain the DNN is theoretically guaranteed, because we prove that the causal graph can well mimic the DNN's outputs on an exponential number of different masked samples. Besides, such a causal graph can be further simplified and re-written as an And-Or graph (AOG), without losing much explanation accuracy.
Abstract（参考訳）: 本稿では,DNNの学習における概念創出現象を説明することを目的とする。具体的には、DNNの推論スコアを、いくつかのインタラクティブな概念の影響に結びつけることができる。これらの概念は、DNNの説明である疎いシンボリック因果グラフの因果パターンとして理解することができる。このような因果グラフを用いてdnnを説明する忠実性は理論的に保証される。なぜなら、因果グラフは指数関数的な数の異なるマスク標本上のdnnの出力をうまく模倣できるからである。さらに、そのような因果グラフは、多くの説明精度を失うことなく、さらに単純化され、And-Orグラフ(AOG)として書き直される。

関連論文リスト

Graph Neural Network Causal Explanation via Neural Causal Models [14.288781140044465]
グラフニューラルネットワーク(GNN)の説明者は、与えられたグラフの予測を保証する重要なサブグラフを特定する。我々は、因果推論によるGNN因果説明器名を提案する。名前は、正確な基礎的な説明の特定において、既存のGNN説明者よりもはるかに優れています。
論文参考訳（メタデータ） (2024-07-12T15:56:33Z)
Explainable Graph Neural Networks Under Fire [69.15708723429307]
グラフニューラルネットワーク(GNN)は通常、複雑な計算挙動とグラフの抽象的性質のために解釈性に欠ける。ほとんどのGNN説明法は、ポストホックな方法で動作し、重要なエッジと/またはノードの小さなサブセットの形で説明を提供する。本稿では,これらの説明が信頼できないことを実証する。GNNの一般的な説明手法は,敵対的摂動に強い影響を受けやすいことが判明した。
論文参考訳（メタデータ） (2024-06-10T16:09:16Z)
Explainability in subgraphs-enhanced Graph Neural Networks [12.526174412246107]
グラフ強化グラフニューラルネットワーク(SGNN)は,GNNの表現力を高めるために導入された。本稿では, GNN の最近の解説者の一つである PGExplainer を SGNN に適用する。本稿では,グラフ分類タスクにおけるSGNNの決定過程を説明することに成功していることを示す。
論文参考訳（メタデータ） (2022-09-16T13:39:10Z)
On Consistency in Graph Neural Network Interpretation [34.25952902469481]
インスタンスレベルのGNN説明は、ターゲットのGNNが予測に頼っているノードやエッジなどの重要な入力要素を発見することを目的としている。様々なアルゴリズムが提案されているが、その多くは最小の部分グラフを探索することによってこのタスクを定式化している。埋め込みの整列による簡易かつ効果的な対策を提案する。
論文参考訳（メタデータ） (2022-05-27T02:58:07Z)
OrphicX: A Causality-Inspired Latent Variable Model for Interpreting Graph Neural Networks [42.539085765796976]
本稿では、グラフニューラルネットワーク(GNN)の因果説明を生成するための新しいeXplanationフレームワークOrphicXを提案する。本研究では, 個別な生成モデルを構築し, 因果的, コンパクト, 忠実な説明を生成モデルに推奨する目的関数を設計する。 OrphicXは因果的説明を生成するための因果的意味論を効果的に識別できることを示す。
論文参考訳（メタデータ） (2022-03-29T03:08:33Z)
Transferability Properties of Graph Neural Networks [125.71771240180654]
グラフニューラルネットワーク(GNN)は、中規模グラフでサポートされているデータから表現を学ぶのに成功している。適度な大きさのグラフ上でGNNを訓練し、それらを大規模グラフに転送する問題について検討する。その結果, (i) グラフサイズに応じて転送誤差が減少し, (ii) グラフフィルタは非線型性の散乱挙動によってGNNにおいて緩和されるような転送可能性-識別可能性トレードオフを有することがわかった。
論文参考訳（メタデータ） (2021-12-09T00:08:09Z)
Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
論文参考訳（メタデータ） (2021-11-20T18:57:18Z)
Jointly Attacking Graph Neural Network and its Explanations [50.231829335996814]
グラフニューラルネットワーク(GNN)は多くのグラフ関連タスクのパフォーマンスを向上した。近年の研究では、GNNは敵の攻撃に対して非常に脆弱であることが示されており、敵はグラフを変更することでGNNの予測を誤認することができる。本稿では、GNNモデルとその説明の両方を同時に利用して攻撃できる新しい攻撃フレームワーク(GEAttack)を提案する。
論文参考訳（メタデータ） (2021-08-07T07:44:33Z)
Generative Causal Explanations for Graph Neural Networks [39.60333255875979]
Gemは、さまざまなグラフ学習タスクで任意のGNNに対して解釈可能な説明を提供するモデルに依存しないアプローチです。説明精度の相対的な向上を最大30%$で達成し、その最先端の代替品と比較して、説明プロセスを最大$ 10times $でスピードアップします。
論文参考訳（メタデータ） (2021-04-14T06:22:21Z)
Graphon Neural Networks and the Transferability of Graph Neural Networks [125.71771240180654]
グラフニューラルネットワーク(GNN)は、ネットワークデータから局所的な特徴を抽出するためにグラフ畳み込みに依存する。我々は,GNNのリミットオブジェクトとしてグラフオンNNを導入し,GNNの出力とそのリミットグラフオン-NNとの差を証明した。これにより、GNNの識別可能性と転送可能性のトレードオフが確立される。
論文参考訳（メタデータ） (2020-06-05T16:41:08Z)
Efficient Probabilistic Logic Reasoning with Graph Neural Networks [63.099999467118245]
マルコフ論理ネットワーク(MLN)は、多くの知識グラフ問題に対処するために用いられる。 MLNの推論は計算集約的であり、MLNの産業規模での応用は非常に困難である。本稿では,表現力とモデルの単純さとのバランスのよいグラフニューラルネット(GNN)モデルであるExpressGNNを提案する。
論文参考訳（メタデータ） (2020-01-29T23:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。