論文の概要: How to Evaluate Explainability? -- A Case for Three Criteria
- arxiv url: http://arxiv.org/abs/2209.00366v1
- Date: Thu, 1 Sep 2022 11:22:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 10:54:48.161918
- Title: How to Evaluate Explainability? -- A Case for Three Criteria
- Title（参考訳）: 説明可能性の評価方法
--3つの基準について
- Authors: Timo Speith
- Abstract要約: 我々は,システムが提供するべき情報に関する3つの品質基準について,多分野のモチベーションを提供する。
本研究の目的は, 適切な評価方法が考案されるなど, これらの基準に関する議論を加速させることである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The increasing complexity of software systems and the influence of
software-supported decisions in our society have sparked the need for software
that is safe, reliable, and fair. Explainability has been identified as a means
to achieve these qualities. It is recognized as an emerging non-functional
requirement (NFR) that has a significant impact on system quality. However, in
order to develop explainable systems, we need to understand when a system
satisfies this NFR. To this end, appropriate evaluation methods are required.
However, the field is crowded with evaluation methods, and there is no
consensus on which are the "right" ones. Much less, there is not even agreement
on which criteria should be evaluated. In this vision paper, we will provide a
multidisciplinary motivation for three such quality criteria concerning the
information that systems should provide: comprehensibility, fidelity, and
assessability. Our aim is to to fuel the discussion regarding these criteria,
such that adequate evaluation methods for them will be conceived.
- Abstract（参考訳）: ソフトウェアシステムの複雑さの増大と、私たちの社会におけるソフトウェア支援決定の影響が、安全で信頼性があり公正なソフトウェアの必要性を引き起こしました。
説明可能性はこの性質を達成する手段として認識されている。
システム品質に大きな影響を与える、新たな非機能要件(NFR)として認識されている。
しかし、説明可能なシステムを開発するためには、システムがこのnfrを満たすときを理解する必要がある。
そのため、適切な評価方法が必要となる。
しかし、この分野は評価手法が混在しており、どちらが「正しい」かについてのコンセンサスはない。
それよりもはるかに少ないが、どの基準を評価するべきかという合意さえない。
本稿では,システムが提供する情報,理解性,忠実性,評価可能性の3つの品質基準について,多分野のモチベーションを提供する。
本研究の目的は,これらの基準に関する議論を加速させ,適切な評価手法を考案することである。
関連論文リスト
- Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Functional trustworthiness of AI systems by statistically valid testing [7.717286312400472]
著者らは、現在のEU人工知能(AI)法の草案で要求される不適切な措置と手続きのために、欧州市民の安全、健康、および権利を懸念している。
私たちは、現在のEU AI Actの草案だけでなく、CEN/CENELECの標準化活動も、AIシステムの真の機能保証は非現実的であり、複雑すぎるという立場に頼っていることを観察しています。
論文 参考訳（メタデータ） (2023-10-04T11:07:52Z) - A New Perspective on Evaluation Methods for Explainable Artificial
Intelligence (XAI) [0.0]
我々は、リソースの可用性、ドメインの特徴、リスクの考慮を組み込んだ、曖昧な方法でアプローチするのが最善である、と論じる。
この研究は、AIのための要求工学の分野を前進させることを目的としている。
論文 参考訳（メタデータ） (2023-07-26T15:15:44Z) - Revisiting the Performance-Explainability Trade-Off in Explainable
Artificial Intelligence (XAI) [0.0]
我々は、リソースの可用性、ドメインの特徴、リスクの考慮を組み込んだ、曖昧な方法でアプローチするのが最善である、と論じる。
この研究は、AIのための要求工学の分野を前進させることを目的としている。
論文 参考訳（メタデータ） (2023-07-26T15:07:40Z) - Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である
ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。
この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
論文 参考訳（メタデータ） (2022-07-27T07:50:57Z) - Towards a multi-stakeholder value-based assessment framework for
algorithmic systems [76.79703106646967]
我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。
我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
論文 参考訳（メタデータ） (2022-05-09T19:28:32Z) - Tailored Uncertainty Estimation for Deep Learning Systems [10.288326973530614]
本稿では,適切な不確実性推定手法の選択を導く枠組みを提案する。
私たちのフレームワークは、この選択を検証し、構造的な弱点を明らかにするための戦略を提供します。
これは、機械学習システムの技術的適切性を示す証拠を必要とする予測された機械学習規則を予想する。
論文 参考訳（メタデータ） (2022-04-29T09:23:07Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳（メタデータ） (2020-11-02T20:04:18Z) - How Trustworthy are Performance Evaluations for Basic Vision Tasks? [46.0590176230731]
本稿では,オブジェクトの集合,オブジェクト検出,インスタンスレベルのセグメンテーション,マルチオブジェクトトラッキングを含む基本的な視覚タスクの性能評価基準について検討する。
既存の基準によるアルゴリズムのランキングは、パラメータの選択によって変動し、その評価が信頼できない。
この研究は、(i)信頼性のパラメータに対する堅牢性、(ii)健全性テストにおける文脈意味性、(iii)計量特性のような数学的要求との整合性を必要とする性能基準に対する信頼性の概念を示唆する。
論文 参考訳（メタデータ） (2020-08-08T14:21:15Z) - Towards Faithfully Interpretable NLP Systems: How should we define and
evaluate faithfulness? [58.13152510843004]
ディープラーニングベースのNLPモデルの普及に伴い、解釈可能なシステムの必要性が高まっている。
解釈可能性とは何か、そして高品質な解釈を構成するものは何か?
我々は、解釈が満たすべき異なる望ましい基準をより明確に区別し、忠実度基準に焦点を合わせることを求めている。
論文 参考訳（メタデータ） (2020-04-07T20:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。