論文の概要: Scaling Symbolic Methods using Gradients for Neural Model Explanation

• arxiv url: http://arxiv.org/abs/2006.16322v4
• Date: Wed, 5 May 2021 14:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 13:10:55.927281
• Title: Scaling Symbolic Methods using Gradients for Neural Model Explanation
• Title（参考訳）: ニューラルモデル説明のための勾配を用いたシンボリック手法のスケーリング
• Authors: Subham Sekhar Sahoo, Subhashini Venugopalan, Li Li, Rishabh Singh, Patrick Riley
• Abstract要約: そこで本研究では,勾配に基づく手法と記号的手法を組み合わせた解析手法を提案する。 特に,この手法を用いて,ニューラルネットワークの予測に最も関係のある入力の最小領域を同定する。 MNIST, ImageNet, Beer Reviews という3つのデータセットを用いて,本手法の評価を行った。
• 参考スコア（独自算出の注目度）: 22.568591780291776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symbolic techniques based on Satisfiability Modulo Theory (SMT) solvers have been proposed for analyzing and verifying neural network properties, but their usage has been fairly limited owing to their poor scalability with larger networks. In this work, we propose a technique for combining gradient-based methods with symbolic techniques to scale such analyses and demonstrate its application for model explanation. In particular, we apply this technique to identify minimal regions in an input that are most relevant for a neural network's prediction. Our approach uses gradient information (based on Integrated Gradients) to focus on a subset of neurons in the first layer, which allows our technique to scale to large networks. The corresponding SMT constraints encode the minimal input mask discovery problem such that after masking the input, the activations of the selected neurons are still above a threshold. After solving for the minimal masks, our approach scores the mask regions to generate a relative ordering of the features within the mask. This produces a saliency map which explains "where a model is looking" when making a prediction. We evaluate our technique on three datasets - MNIST, ImageNet, and Beer Reviews, and demonstrate both quantitatively and qualitatively that the regions generated by our approach are sparser and achieve higher saliency scores compared to the gradient-based methods alone. Code and examples are at - https://github.com/google-research/google-research/tree/master/smug_saliency
• Abstract（参考訳）: ニューラルネットワーク特性の分析と検証にはSMT(Satifiability Modulo Theory)に基づくシンボリック手法が提案されているが、大規模ネットワークでのスケーラビリティの低さのため、その利用は極めて制限されている。 本研究では, 勾配に基づく手法と記号的手法を組み合わせた解析手法を提案し, モデル説明への応用を実証する。 特に,この手法を用いて,ニューラルネットワークの予測に最も関係のある入力の最小領域を同定する。 我々のアプローチでは、勾配情報(積分勾配に基づく)を使用して、第1層のニューロンのサブセットに集中することで、我々の技術は大規模ネットワークに拡張できる。 対応するSMT制約は、入力をマスクした後、選択されたニューロンの活性化がしきい値を超えるような最小の入力マスク発見問題を符号化する。 マスクの最小化のために解決した後、マスク領域を計測し、マスク内の特徴の相対的な順序を生成する。 これは、予測を行うときに、"モデルが見ている場所"を説明するサリエンシマップを生成する。 我々は,MNIST,ImageNet,Beer Reviewsの3つのデータセット上で手法の評価を行い,アプローチによって生成された領域がスペーサーであり,勾配法のみと比較して高い唾液度スコアが得られることを示す。 コードと例は、https://github.com/google-research/google-research/tree/master/smug_saliencyにある。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• NeuralGF: Unsupervised Point Normal Estimation by Learning Neural Gradient Function [55.86697795177619]
  3次元点雲の正規推定は3次元幾何処理の基本的な課題である。 我々は,ニューラルネットワークが入力点雲に適合することを奨励する,ニューラルグラデーション関数の学習のための新しいパラダイムを導入する。 広範に使用されているベンチマークの優れた結果から,本手法は非指向性および指向性正常推定タスクにおいて,より正確な正規性を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-11-01T09:25:29Z)
• Generalizable Neural Fields as Partially Observed Neural Processes [16.202109517569145]
  本稿では,ニューラル表現の大規模トレーニングを部分的に観察されたニューラルプロセスフレームワークの一部として考える新しいパラダイムを提案する。 このアプローチは、最先端の勾配に基づくメタラーニングアプローチとハイパーネットワークアプローチの両方より優れていることを実証する。
  論文  参考訳（メタデータ） (2023-09-13T01:22:16Z)
• [Experiments & Analysis] Evaluating the Feasibility of Sampling-Based Techniques for Training Multilayer Perceptrons [10.145355763143218]
  ディープニューラルネットワークのトレーニング時間を高速化するためのサンプリングベースのテクニックがいくつか提案されている。 これらのテクニックは、2つのカテゴリに分類される: (i) 隠れたレイヤのノードのサブセットをイテレーション毎にアクティブにサンプリングし、 (ii) 現在のレイヤのアクティベーションを近似するために、前のレイヤからノードのサブセットをサンプリングする。 本稿では,計算資源が限られているCPUマシンにおいて,これらの手法の有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-15T17:19:48Z)
• Neural-prior stochastic block model [0.0]
  我々は,コミュニティを,逆ではなくノード属性によって決定されるものとしてモデル化することを提案する。 本稿では,信念伝播と近似メッセージパッシングを組み合わせた統計物理に基づくアルゴリズムを提案する。 提案したモデルとアルゴリズムは理論とアルゴリズムのベンチマークとして利用できる。
  論文  参考訳（メタデータ） (2023-03-17T14:14:54Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Visual Explanations from Deep Networks via Riemann-Stieltjes Integrated Gradient-based Localization [0.24596929878045565]
  我々は,CNNの予測のための視覚的説明を生成する新しい手法を提案する。 本手法はネットワークの任意の層に適用可能であり, 積分勾配と同様, 勾配の消失問題の影響を受けない。 Grad-CAMと比較して、我々のアルゴリズムが生成したヒートマップは興味のある領域に集中しており、数値計算はより安定である。
  論文  参考訳（メタデータ） (2022-05-22T18:30:38Z)
• Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
  本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。 我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。 本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
  論文  参考訳（メタデータ） (2022-05-16T06:49:36Z)
• A Local Geometric Interpretation of Feature Extraction in Deep Feedforward Neural Networks [13.159994710917022]
  本稿では, 深部フィードフォワードニューラルネットワークが高次元データから低次元特徴をいかに抽出するかを理解するための局所幾何学的解析法を提案する。 本研究は, 局所幾何学領域において, ニューラルネットワークの一層における最適重みと前層の最適特徴が, この層のベイズ作用によって決定される行列の低ランク近似を構成することを示す。
  論文  参考訳（メタデータ） (2022-02-09T18:50:00Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。