論文の概要: UKP-SQuARE v2 Explainability and Adversarial Attacks for Trustworthy QA
- arxiv url: http://arxiv.org/abs/2208.09316v2
- Date: Tue, 23 Aug 2022 09:24:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-24 10:41:46.903041
- Title: UKP-SQuARE v2 Explainability and Adversarial Attacks for Trustworthy QA
- Title（参考訳）: UKP-SQuARE v2 信頼できるQAのための説明可能性と敵攻撃
- Authors: Rachneet Sachdeva, Haritz Puerto, Tim Baumg\"artner, Sewin
Tariverdian, Hao Zhang, Kexin Wang, Hossain Shaikh Saadi, Leonardo F. R.
Ribeiro, Iryna Gurevych
- Abstract要約: 質問回答システムは、現実の意思決定をサポートするアプリケーションにますますデプロイされています。
本質的に解釈可能なモデルやポストホックな説明可能性メソッドは、モデルがその予測にどのように到着するかをユーザが理解するのに役立ちます。
SQuAREの新バージョンであるSQuARE v2を導入し、モデルを比較するための説明可能性インフラストラクチャを提供する。
- 参考スコア（独自算出の注目度）: 47.8796570442486
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Question Answering (QA) systems are increasingly deployed in applications
where they support real-world decisions. However, state-of-the-art models rely
on deep neural networks, which are difficult to interpret by humans. Inherently
interpretable models or post hoc explainability methods can help users to
comprehend how a model arrives at its prediction and, if successful, increase
their trust in the system. Furthermore, researchers can leverage these insights
to develop new methods that are more accurate and less biased. In this paper,
we introduce SQuARE v2, the new version of SQuARE, to provide an explainability
infrastructure for comparing models based on methods such as saliency maps and
graph-based explanations. While saliency maps are useful to inspect the
importance of each input token for the model's prediction, graph-based
explanations from external Knowledge Graphs enable the users to verify the
reasoning behind the model prediction. In addition, we provide multiple
adversarial attacks to compare the robustness of QA models. With these
explainability methods and adversarial attacks, we aim to ease the research on
trustworthy QA models. SQuARE is available on https://square.ukp-lab.de.
- Abstract（参考訳）: 質問応答(qa)システムは、現実の意思決定をサポートするアプリケーションにますますデプロイされている。
しかし、最先端のモデルは人間の解釈が難しいディープニューラルネットワークに依存している。
本質的に解釈可能なモデルやポストホックな説明可能性メソッドは、モデルが予測にどのように到着するかを理解し、成功すればシステムに対する信頼を高めるのに役立つ。
さらに、研究者はこれらの洞察を利用して、より正確でバイアスの少ない新しい方法を開発することができる。
本稿では,SQuAREの新バージョンであるSQuARE v2を紹介し,従量性マップやグラフに基づく説明などの手法に基づくモデルの比較を行うための説明可能性基盤を提供する。
サーリエンシマップはモデル予測における各入力トークンの重要性を調べるのに有用であるが、外部知識グラフからのグラフベースの説明により、ユーザーはモデル予測の背後にある推論を検証できる。
さらに、QAモデルのロバスト性を比較するために、複数の敵攻撃を提供する。
これらの説明可能性手法と敵攻撃により,信頼性の高いQAモデルの研究が容易になる。
SQuAREはhttps://square.ukp-lab.de.comで入手できる。
関連論文リスト
- Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Calibrated Explanations for Regression [1.2058600649065616]
回帰のための校正的説明は、高速で信頼性があり、安定し、堅牢な説明を提供する。
確率的回帰のための校正的説明は、説明を作成する全く新しい方法を提供する。
Pythonの実装はGitHubで無料で利用可能で、pipとcondaの両方を使ってインストールすることができる。
論文 参考訳（メタデータ） (2023-08-30T18:06:57Z) - Evaluating Correctness and Faithfulness of Instruction-Following Models for Question Answering [26.34649731975005]
Retriever-augmented instruction-following modelは、質問応答のための微調整アプローチ(QA)の魅力的な代替品である
モデル応答は自然で流動的である傾向にあるが、追加の冗長性により、モデルパフォーマンスを正確に定量化するために従来のQA評価指標は信頼できない。
1) ユーザの情報要求(正確性)をどの程度満足させるか,2) 提供された知識(忠実性)に基づいて応答を生成するか,という2つの次元に沿って,これらのモデルを評価するために,自動評価と人的評価の両方を用いる。
論文 参考訳（メタデータ） (2023-07-31T17:41:00Z) - Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。
モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。
BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
論文 参考訳（メタデータ） (2023-07-04T16:45:21Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering [58.64831511644917]
本稿では, モデル決定を中間的人間法的な説明に分解する設計モデルを提案する。
我々は、我々の本質的に解釈可能なシステムは、推論に焦点をあてた質問において、同等のブラックボックスシステムよりも4.64%改善できることを示した。
論文 参考訳（メタデータ） (2023-05-24T08:33:15Z) - COCKATIEL: COntinuous Concept ranKed ATtribution with Interpretable
ELements for explaining neural net classifiers on NLP tasks [3.475906200620518]
COCKATIELは、新しい、ポストホック、コンセプトベース、モデルに依存しないXAI技術である。
NLP分類タスクでトレーニングされたニューラルネットモデルの最後の層から意味のある説明を生成する。
基礎となるモデルの精度を損なうことなく、新しいモデルをトレーニングする必要もない。
論文 参考訳（メタデータ） (2023-05-11T12:22:20Z) - NxPlain: Web-based Tool for Discovery of Latent Concepts [16.446370662629555]
提案するNxPlainは,潜在概念を用いたモデル予測を記述したWebアプリケーションである。
NxPlainは、深いNLPモデルで学んだ潜在概念を発見し、モデルで学んだ知識の解釈を提供し、使用した概念に基づいてその予測を説明する。
論文 参考訳（メタデータ） (2023-03-06T10:45:24Z) - VisFIS: Visual Feature Importance Supervision with
Right-for-the-Right-Reason Objectives [84.48039784446166]
モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。
我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。
説明が妥当で忠実な場合には予測がより正確になる。
論文 参考訳（メタデータ） (2022-06-22T17:02:01Z) - Unifying Model Explainability and Robustness via Machine-Checkable
Concepts [33.88198813484126]
本稿では,機械チェック可能な概念を用いた頑健性評価フレームワークを提案する。
本フレームワークは, 予測堅牢性を評価するために, 説明をベースとした多種多様な概念を定義し, テスト時の説明整合性チェックを実施している。
実世界のデータセットと人間のサーベイの実験は、我々のフレームワークが予測の堅牢性を大幅に向上できることを示している。
論文 参考訳（メタデータ） (2020-07-01T05:21:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。