論文の概要: CARE: Certifiably Robust Learning with Reasoning via Variational Inference

• arxiv url: http://arxiv.org/abs/2209.05055v1
• Date: Mon, 12 Sep 2022 07:15:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-13 13:37:29.863874
• Title: CARE: Certifiably Robust Learning with Reasoning via Variational Inference
• Title（参考訳）: CARE:変分推論による推論による頑健な学習
• Authors: Jiawei Zhang, Linyi Li, Ce Zhang, Bo Li
• Abstract要約: 推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
• 参考スコア（独自算出の注目度）: 26.210129662748862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite great recent advances achieved by deep neural networks (DNNs), they are often vulnerable to adversarial attacks. Intensive research efforts have been made to improve the robustness of DNNs; however, most empirical defenses can be adaptively attacked again, and the theoretically certified robustness is limited, especially on large-scale datasets. One potential root cause of such vulnerabilities for DNNs is that although they have demonstrated powerful expressiveness, they lack the reasoning ability to make robust and reliable predictions. In this paper, we aim to integrate domain knowledge to enable robust learning with the reasoning paradigm. In particular, we propose a certifiably robust learning with reasoning pipeline (CARE), which consists of a learning component and a reasoning component. Concretely, we use a set of standard DNNs to serve as the learning component to make semantic predictions, and we leverage the probabilistic graphical models, such as Markov logic networks (MLN), to serve as the reasoning component to enable knowledge/logic reasoning. However, it is known that the exact inference of MLN (reasoning) is #P-complete, which limits the scalability of the pipeline. To this end, we propose to approximate the MLN inference via variational inference based on an efficient expectation maximization algorithm. In particular, we leverage graph convolutional networks (GCNs) to encode the posterior distribution during variational inference and update the parameters of GCNs (E-step) and the weights of knowledge rules in MLN (M-step) iteratively. We conduct extensive experiments on different datasets and show that CARE achieves significantly higher certified robustness compared with the state-of-the-art baselines. We additionally conducted different ablation studies to demonstrate the empirical robustness of CARE and the effectiveness of different knowledge integration.
• Abstract（参考訳）: ディープニューラルネットワーク(dnn)によって達成された最近の進歩にもかかわらず、それらはしばしば敵の攻撃に弱い。 DNNのロバスト性を改善するために集中的な研究努力がなされているが、多くの経験的防御は再び適応的に攻撃され、特に大規模データセットにおいて理論的に証明されたロバスト性は制限されている。 DNNのこのような脆弱性の潜在的な根本原因の1つは、強力な表現力を示しているが、堅牢で信頼性の高い予測を行うための推論能力がないことである。 本稿では,ドメイン知識を統合し,推論パラダイムによる堅牢な学習を実現することを目的とする。 特に,学習成分と推論成分からなる推論パイプライン(care)を用いた証明可能なロバストな学習を提案する。 具体的には,学習要素として標準DNNを用いて意味論的予測を行い,マルコフ論理ネットワーク(MLN)などの確率的グラフィカルモデルを利用して推論要素として機能し,知識・論理的推論を可能にする。 しかし、MLNの正確な推論は#P完全であることが知られており、パイプラインのスケーラビリティが制限されている。 そこで本研究では,効率的な予測最大化アルゴリズムに基づく変分推論によるMLN推論を提案する。 特に、グラフ畳み込みネットワーク(GCN)を利用して、変動推論中に後続分布を符号化し、GCN(E-step)のパラメータとMLN(M-step)の知識規則の重みを反復的に更新する。 さまざまなデータセットに関する広範囲な実験を行い,最先端のベースラインと比較して,careが極めて高い認証堅牢性を達成していることを示す。 さらに,ケアの実証的ロバスト性と知識統合の効果を示すため,異なるアブレーション研究を行った。

関連論文リスト

• Neural Networks Decoded: Targeted and Robust Analysis of Neural Network Decisions via Causal Explanations and Reasoning [9.947555560412397]
  本稿では、因果推論理論に基づく新しい手法TRACERを紹介し、DNN決定の根底にある因果ダイナミクスを推定する。 提案手法は入力特徴に系統的に介入し,特定の変化がネットワークを介してどのように伝播するかを観察し,内部の活性化と最終的な出力に影響を与える。 TRACERはさらに、モデルバイアスの可能性のある反ファクトを生成することで説明可能性を高め、誤分類に対する対照的な説明を提供する。
  論文  参考訳（メタデータ） (2024-10-07T20:44:53Z)
• Uncertainty in Graph Neural Networks: A Survey [50.63474656037679]
  グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで広く使われている。 しかし、多様な情報源から生じるGNNの予測的不確実性は、不安定で誤った予測につながる可能性がある。 本調査は,不確実性の観点からGNNの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2024-03-11T21:54:52Z)
• Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks [37.69303106863453]
  物理インフォームドBNNにおける不確実性定量化(UQ)のアプローチを提案する。 本稿では, 鋼のクリープ破断寿命を予測するためのケーススタディを提案する。 クリープ寿命予測の最も有望なフレームワークは、マルコフ・チェイン・モンテカルロによるネットワークパラメータの後方分布の近似に基づくBNNである。
  論文  参考訳（メタデータ） (2023-11-04T19:40:16Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Knowledge Enhanced Machine Learning Pipeline against Diverse Adversarial Attacks [10.913817907524454]
  ドメイン知識をグラフィカルモデルに統合するための知識強化機械学習パイプライン(KEMLP)を提案する。 特に,主DNNモデルとの論理的関係に基づいて,多様な弱補助モデルを統合することで,KEMLPを開発する。 KEMLPは, 対人訓練やその他のベースラインと比較して, 物理的攻撃に対する高い堅牢性, $mathcalL_p$境界攻撃, 予期せぬ攻撃, および自然汚職を実現する。
  論文  参考訳（メタデータ） (2021-06-11T08:37:53Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。