論文の概要: Formally Explaining Neural Networks within Reactive Systems

• arxiv url: http://arxiv.org/abs/2308.00143v1
• Date: Mon, 31 Jul 2023 20:19:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 16:19:51.904126
• Title: Formally Explaining Neural Networks within Reactive Systems
• Title（参考訳）: リアクティブシステム内のニューラルネットワークの形式的説明
• Authors: Shahaf Bassan, Guy Amir, Davide Corsi, Idan Refaeli, Guy Katz
• Abstract要約: ディープニューラルネットワーク(DNN)は、リアクティブシステムのコントローラとしてますます利用されている。 DNNは非常に不透明で、その動作の説明と正当化が難しい。 マルチステップ・リアクティブシステムの推論のための形式的DNN検証に基づくXAI手法を提案する。
• 参考スコア（独自算出の注目度）: 1.3124513975412255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are increasingly being used as controllers in reactive systems. However, DNNs are highly opaque, which renders it difficult to explain and justify their actions. To mitigate this issue, there has been a surge of interest in explainable AI (XAI) techniques, capable of pinpointing the input features that caused the DNN to act as it did. Existing XAI techniques typically face two limitations: (i) they are heuristic, and do not provide formal guarantees that the explanations are correct; and (ii) they often apply to ``one-shot'' systems (where the DNN is invoked independently of past invocations), as opposed to reactive systems. Here, we begin bridging this gap, and propose a formal DNN-verification-based XAI technique for reasoning about multi-step, reactive systems. We suggest methods for efficiently calculating succinct explanations, by exploiting the system's transition constraints in order to curtail the search space explored by the underlying verifier. We evaluate our approach on two popular benchmarks from the domain of automated navigation; and observe that our methods allow the efficient computation of minimal and minimum explanations, while significantly outperforming the state of the art. We also demonstrate that our method produces formal explanations that are more reliable than competing, non-verification-based XAI techniques.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、リアクティブシステムのコントローラとしてますます利用されている。 しかし、DNNは非常に不透明であり、その動作の説明と正当化が難しい。 この問題を軽減するため、DNNが動作させた入力機能を特定できる、説明可能なAI(XAI)技術への関心が高まっている。 既存のXAI技術には2つの制限がある。 (i)彼らはヒューリスティックであり、説明が正しいという正式な保証を与えていない。 (ii)反応系とは対照的に「ワンショット」システム(dnnは過去の呼び出しとは独立して呼び出される)にしばしば適用される。 そこで我々は,このギャップを埋め始め,多段階のリアクティブシステムを推論するための形式的DNN検証ベースのXAI手法を提案する。 本稿では,システムの遷移制約を利用して,検証者が探索する探索空間を短縮し,簡潔な説明を効率的に計算する方法を提案する。 提案手法は,自動ナビゲーションの領域における2つの人気のあるベンチマークで評価し,最小および最小説明の効率的な計算が可能でありながら,その性能を著しく上回っていることを検証した。 また,本手法が競合する非検証型XAI技術よりも信頼性の高い形式的説明を生成することを示す。

関連論文リスト

• Lyapunov-stable Neural Control for State and Output Feedback: A Novel Formulation [67.63756749551924]
  学習ベースのニューラルネットワーク(NN)制御ポリシは、ロボット工学と制御の幅広いタスクにおいて、印象的な経験的パフォーマンスを示している。 非線形力学系を持つNNコントローラのトラクション領域(ROA)に対するリアプノフ安定性の保証は困難である。 我々は、高速な経験的ファルシフィケーションと戦略的正則化を用いて、Lyapunov証明書とともにNNコントローラを学習するための新しいフレームワークを実証する。
  論文  参考訳（メタデータ） (2024-04-11T17:49:15Z)
• Efficient GNN Explanation via Learning Removal-based Attribution [56.18049062940675]
  本稿では,LARA (LeArn removal-based Attribution) というGNN説明の枠組みを提案し,この問題に対処する。 LARAの解説者は、高い忠実度で説明を提供することができる除去に基づく属性を生成することを学ぶ。 特に、LARAは3.5倍高速で、大きなデータセットogbn-arxivの最先端の手法よりも忠実である。
  論文  参考訳（メタデータ） (2023-06-09T08:54:20Z)
• The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural Networks [94.63547069706459]
  #DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。 違反の正確な数を返す新しい手法を提案する。 安全クリティカルなベンチマークのセットに関する実験結果を示す。
  論文  参考訳（メタデータ） (2023-01-17T18:32:01Z)
• QVIP: An ILP-based Formal Verification Approach for Quantized Neural Networks [14.766917269393865]
  量子化は、浮動小数点数に匹敵する精度でニューラルネットワークのサイズを減らすための有望な技術として登場した。 そこで本研究では,QNNに対する新しい,効率的な形式検証手法を提案する。 特に、QNNの検証問題を整数線形制約の解法に還元する符号化を初めて提案する。
  論文  参考訳（メタデータ） (2022-12-10T03:00:29Z)
• Taming Reachability Analysis of DNN-Controlled Systems via Abstraction-Based Training [14.787056022080625]
  本稿では, 到達可能性解析における過剰近似DNNの欠如を回避するための, 抽象的アプローチを提案する。 我々は、実数をトレーニングの間隔に抽象化する抽象層を挿入することで、従来のDNNを拡張した。 我々は、DNN制御システムに対する最初のブラックボックス到達可能性分析手法を考案し、訓練されたDNNは抽象状態に対するアクションのためのブラックボックスオラクルとしてのみクエリされる。
  論文  参考訳（メタデータ） (2022-11-21T00:11:50Z)
• Towards Formal Approximated Minimal Explanations of Neural Networks [0.0]
  ディープニューラルネットワーク(DNN)は現在、多くのドメインで使用されている。 DNNは「ブラックボックス」であり、人間には解釈できない。 そこで本研究では,最小限の説明を求めるための効率的な検証手法を提案する。
  論文  参考訳（メタデータ） (2022-10-25T11:06:37Z)
• Pruning and Slicing Neural Networks using Formal Verification [0.2538209532048866]
  ディープニューラルネットワーク(DNN)は、様々なコンピュータシステムにおいてますます重要な役割を担っている。 これらのネットワークを作成するために、エンジニアは通常、望ましいトポロジを指定し、自動トレーニングアルゴリズムを使用してネットワークの重みを選択する。 本稿では,近年のDNN検証の進歩を活用して,この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-05-28T07:53:50Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• An Adversarial Approach for Explaining the Predictions of Deep Neural Networks [9.645196221785694]
  本稿では,敵対的機械学習を用いて,ディープニューラルネットワーク(DNN)の予測を説明する新しいアルゴリズムを提案する。 提案手法は,DNNに対する敵攻撃の挙動に基づいて,入力特徴の相対的重要性を推定する。 分析により、一貫性のある効率的な説明が得られます。
  論文  参考訳（メタデータ） (2020-05-20T18:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。