論文の概要: Stop ordering machine learning algorithms by their explainability! A
user-centered investigation of performance and explainability
- arxiv url: http://arxiv.org/abs/2206.10610v1
- Date: Mon, 20 Jun 2022 08:32:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-23 14:51:33.647077
- Title: Stop ordering machine learning algorithms by their explainability! A
user-centered investigation of performance and explainability
- Title（参考訳）: 機械学習アルゴリズムを説明責任で注文するな!
ユーザ中心による性能と説明可能性の調査
- Authors: Lukas-Valentin Herm, Kai Heinrich, Jonas Wanner, Christian Janiesch
- Abstract要約: 機械学習アルゴリズムのモデル性能と説明可能性のトレードオフについて検討する。
エンドユーザの認識では、トレードオフは徐々に減少しています。
第2の実験の結果、説明可能な人工知能の強化は説明可能性を高めるのに有効であるが、このタイプの説明はエンドユーザの知覚に不可欠な役割を担っていることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Machine learning algorithms enable advanced decision making in contemporary
intelligent systems. Research indicates that there is a tradeoff between their
model performance and explainability. Machine learning models with higher
performance are often based on more complex algorithms and therefore lack
explainability and vice versa. However, there is little to no empirical
evidence of this tradeoff from an end user perspective. We aim to provide
empirical evidence by conducting two user experiments. Using two distinct
datasets, we first measure the tradeoff for five common classes of machine
learning algorithms. Second, we address the problem of end user perceptions of
explainable artificial intelligence augmentations aimed at increasing the
understanding of the decision logic of high-performing complex models. Our
results diverge from the widespread assumption of a tradeoff curve and indicate
that the tradeoff between model performance and explainability is much less
gradual in the end user's perception. This is a stark contrast to assumed
inherent model interpretability. Further, we found the tradeoff to be
situational for example due to data complexity. Results of our second
experiment show that while explainable artificial intelligence augmentations
can be used to increase explainability, the type of explanation plays an
essential role in end user perception.
- Abstract（参考訳）: 機械学習アルゴリズムは、現代のインテリジェントシステムにおける高度な意思決定を可能にする。
研究は、モデルのパフォーマンスと説明可能性の間にトレードオフがあることを示している。
高いパフォーマンスを持つ機械学習モデルは、しばしばより複雑なアルゴリズムに基づいており、説明可能性やその逆は欠落している。
しかし、エンドユーザーの観点から、このトレードオフの実証的な証拠はほとんどありません。
2つのユーザ実験を行い,実証的なエビデンスの提供を目指している。
2つの異なるデータセットを使用して、まず5つの一般的な機械学習アルゴリズムのトレードオフを測定する。
第二に、ハイパフォーマンスな複雑なモデルの意思決定ロジックの理解を高めることを目的とした、説明可能な人工知能強化のエンドユーザ認識の問題に対処する。
我々の結果はトレードオフ曲線の広範な仮定から分岐し、モデル性能と説明可能性の間のトレードオフがエンドユーザの認識においてはるかに緩やかであることを示します。
これは、仮定されたモデル解釈可能性とは対照的である。
さらに、例えば、データの複雑さのために、トレードオフは状況的であることが分かりました。
第2の実験の結果、説明可能な人工知能の強化は説明可能性を高めるのに有効であるが、このタイプの説明はエンドユーザの知覚に不可欠な役割を担っていることがわかった。
関連論文リスト
- Visual-O1: Understanding Ambiguous Instructions via Multi-modal Multi-turn Chain-of-thoughts Reasoning [53.45295657891099]
本稿では,マルチモーダルなマルチターン・チェーン・オブ・シークレット・推論・フレームワークであるVisual-O1を提案する。
人間のマルチモーダルなマルチターン推論をシミュレートし、高度にインテリジェントなモデルに即時体験を提供する。
私たちの研究は、不確実性と曖昧さのある現実のシナリオにおいて、人工知能が人間のように機能する可能性を強調します。
論文 参考訳（メタデータ） (2024-10-04T11:18:41Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
得られた知識を有向非巡回因果グラフの形で公開することを提案する。
また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。
提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
論文 参考訳（メタデータ） (2023-09-30T20:59:42Z) - Counterfactual Collaborative Reasoning [41.89113539041682]
因果推論と論理推論は、人間の知性にとって重要な推論能力の2つの種類である。
本稿では,性能向上のために,対実論理推論を行う対実協調推論を提案する。
3つの実世界のデータセットの実験は、CCRが非拡張モデルや暗黙的に拡張モデルよりも優れたパフォーマンスを達成することを示している。
論文 参考訳（メタデータ） (2023-06-30T23:01:10Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳（メタデータ） (2021-03-18T12:57:34Z) - Learning outside the Black-Box: The pursuit of interpretable models [78.32475359554395]
本稿では,任意の連続ブラックボックス関数の連続的大域的解釈を生成するアルゴリズムを提案する。
我々の解釈は、その芸術の以前の状態から飛躍的な進歩を表している。
論文 参考訳（メタデータ） (2020-11-17T12:39:44Z) - Human-interpretable model explainability on high-dimensional data [8.574682463936007]
2つのモジュールからなる高次元データに対する人間解釈可能な説明可能性のためのフレームワークを提案する。
まず、データの生の次元性を減らし、人間の解釈可能性を確保するために、意味的に意味のある潜在表現を適用する。
第2に、モデルに依存しないこれらの潜在的特徴を扱うために、Shapleyパラダイムを適用し、理論的に制御され、計算的に抽出可能なモデル説明をもたらす。
論文 参考訳（メタデータ） (2020-10-14T20:06:28Z) - Don't Explain without Verifying Veracity: An Evaluation of Explainable
AI with Video Activity Recognition [24.10997778856368]
本稿では,知的システムにおけるユーザパフォーマンスと合意の妥当性がいかに影響するかを考察する。
ビデオレビューと問合せ作業における説明精度のばらつきを比較した。
その結果,信頼性の低い説明がユーザパフォーマンスと合意を著しく低下させることが示唆された。
論文 参考訳（メタデータ） (2020-05-05T17:06:46Z) - Intelligence, physics and information -- the tradeoff between accuracy
and simplicity in machine learning [5.584060970507507]
私は、インテリジェンスを多くの統合的な側面で見ることと、タスクのパフォーマンスと複雑さの間の普遍的な2日間のトレードオフは、2つの実現可能な視点を提供すると信じています。
この論文では、インテリジェンスのいくつかの側面においていくつかの重要な問題に対処し、2期間のトレードオフにおける相転移について研究する。
論文 参考訳（メタデータ） (2020-01-11T18:34:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。