論文の概要: Explainability Requires Interactivity
- arxiv url: http://arxiv.org/abs/2109.07869v1
- Date: Thu, 16 Sep 2021 11:02:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-17 14:16:54.610844
- Title: Explainability Requires Interactivity
- Title(参考訳): 説明には対話性が必要です
- Authors: Matthias Kirchler, Martin Graf, Marius Kloft, Christoph Lippert
- Abstract要約: 現代視覚モデルの高度に複雑な決定境界を理解するためのインタラクティブなフレームワークを導入する。
ユーザーはネットワークの決定を徹底的に検査し、調査し、テストすることができる。
- 参考スコア(独自算出の注目度): 13.381840447825969
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When explaining the decisions of deep neural networks, simple stories are
tempting but dangerous. Especially in computer vision, the most popular
explanation approaches give a false sense of comprehension to its users and
provide an overly simplistic picture. We introduce an interactive framework to
understand the highly complex decision boundaries of modern vision models. It
allows the user to exhaustively inspect, probe, and test a network's decisions.
Across a range of case studies, we compare the power of our interactive
approach to static explanation methods, showing how these can lead a user
astray, with potentially severe consequences.
- Abstract(参考訳): ディープニューラルネットワークの決定を説明するとき、単純なストーリーは誘惑的だが危険だ。
特にコンピュータビジョンでは、最も一般的な説明アプローチは、ユーザーに誤った理解を与え、過度に単純化されたイメージを提供する。
現代視覚モデルの高度に複雑な決定境界を理解するためのインタラクティブなフレームワークを導入する。
ユーザーはネットワークの決定を徹底的に検査し、調査し、テストすることができる。
様々なケーススタディにおいて、インタラクティブなアプローチのパワーを静的な説明手法と比較し、これがユーザアストレイをいかに導くかを示し、潜在的に深刻な結果をもたらす可能性があることを示す。
関連論文リスト
- A Survey on Transferability of Adversarial Examples across Deep Neural
Networks [54.47263618782188]
逆の例では、機械学習モデルを操作して誤った予測を行うことができます。
敵の例の転送可能性によって"ブラックボックス"攻撃が可能になり、ターゲットモデルの詳細な知識の必要性を回避することができる。
本研究は, 対角移動可能性の展望を考察した。
論文 参考訳(メタデータ) (2023-10-26T17:45:26Z) - May I Ask a Follow-up Question? Understanding the Benefits of
Conversations in Neural Network Explainability [19.1651512576945]
自由形式の会話が静的な説明の理解を深めるかどうかを検討する。
参加者が3つの機械学習モデルから選択できる能力に会話が与える影響を計測する。
本研究は,自由形式の会話形式におけるモデル説明のカスタマイズの重要性を強調した。
論文 参考訳(メタデータ) (2023-09-25T09:00:38Z) - Explaining Agent Behavior with Large Language Models [7.128139268426959]
本研究では,状態や行動の観察のみに基づいて,エージェントの行動に関する自然言語説明を生成する手法を提案する。
エージェントの振る舞いのコンパクトな表現がいかに学習され、妥当な説明を生み出すかを示す。
論文 参考訳(メタデータ) (2023-09-19T06:13:24Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - Interpreting Neural Policies with Disentangled Tree Representations [58.769048492254555]
本稿では,コンパクトなニューラルポリシーの解釈可能性について,不整合表現レンズを用いて検討する。
決定木を利用して,ロボット学習における絡み合いの要因を抽出する。
学習したニューラルダイナミクスの絡み合いを計測する解釈可能性指標を導入する。
論文 参考訳(メタデータ) (2022-10-13T01:10:41Z) - A Peek Into the Reasoning of Neural Networks: Interpreting with
Structural Visual Concepts [38.215184251799194]
直感的な構造的視覚概念で分類NNを解釈するフレームワーク(VRX)を提案する。
ナレッジ蒸留によって、VRXはNNの推論プロセスを模倣する一歩を踏み出すことができることを示す。
論文 参考訳(メタデータ) (2021-05-01T15:47:42Z) - Explainable Adversarial Attacks in Deep Neural Networks Using Activation
Profiles [69.9674326582747]
本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。
これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
論文 参考訳(メタデータ) (2021-03-18T13:04:21Z) - Proactive Pseudo-Intervention: Causally Informed Contrastive Learning
For Interpretable Vision Models [103.64435911083432]
PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。
PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。
また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
論文 参考訳(メタデータ) (2020-12-06T20:30:26Z) - Explain by Evidence: An Explainable Memory-based Neural Network for
Question Answering [41.73026155036886]
本稿では,エビデンスに基づくメモリネットワークアーキテクチャを提案する。
データセットを要約し、その決定を下すための証拠を抽出することを学ぶ。
本モデルは,2つの質問応答データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2020-11-05T21:18:21Z) - Fanoos: Multi-Resolution, Multi-Strength, Interactive Explanations for
Learned Systems [0.0]
Fanoosは、正式な検証テクニック、検索、ユーザインタラクションを組み合わせて、望まれる粒度と忠実度で説明を探索するフレームワークである。
Inverted double pendulum と learn CPU usage model の学習コントローラ上で,ユーザからの要求に応じて,Fanoos が説明の抽象性を生成・調整できることを示す。
論文 参考訳(メタデータ) (2020-06-22T17:35:53Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳(メタデータ) (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。