論文の概要: HIVE: Evaluating the Human Interpretability of Visual Explanations
- arxiv url: http://arxiv.org/abs/2112.03184v1
- Date: Mon, 6 Dec 2021 17:30:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 19:31:07.180869
- Title: HIVE: Evaluating the Human Interpretability of Visual Explanations
- Title（参考訳）: HIVE:視覚説明の人間の解釈可能性の評価
- Authors: Sunnie S. Y. Kim and Nicole Meister and Vikram V. Ramaswamy and Ruth
Fong and Olga Russakovsky
- Abstract要約: コンピュータビジョンにおける多種多様な解釈可能性のためのヒューマン評価フレームワークHIVE(Human Interpretability of Visual Explanations)を提案する。
以上の結果から,(実際に正しいかどうかは別として)人的信頼を保ちつつも,正確な予測と誤予測を区別するには十分でないことが示唆された。
- 参考スコア（独自算出の注目度）: 20.060507122989645
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As machine learning is increasingly applied to high-impact, high-risk
domains, there have been a number of new methods aimed at making AI models more
human interpretable. Despite the recent growth of interpretability work, there
is a lack of systematic evaluation of proposed techniques. In this work, we
propose a novel human evaluation framework HIVE (Human Interpretability of
Visual Explanations) for diverse interpretability methods in computer vision;
to the best of our knowledge, this is the first work of its kind. We argue that
human studies should be the gold standard in properly evaluating how
interpretable a method is to human users. While human studies are often avoided
due to challenges associated with cost, study design, and cross-method
comparison, we describe how our framework mitigates these issues and conduct
IRB-approved studies of four methods that represent the diversity of
interpretability works: GradCAM, BagNet, ProtoPNet, and ProtoTree. Our results
suggest that explanations (regardless of if they are actually correct) engender
human trust, yet are not distinct enough for users to distinguish between
correct and incorrect predictions. Lastly, we also open-source our framework to
enable future studies and to encourage more human-centered approaches to
interpretability.
- Abstract（参考訳）: 機械学習がハイインパクトでハイリスクなドメインにますます適用されるにつれて、AIモデルをより人間的に解釈可能なものにするための新しい方法がいくつかある。
近年の解釈可能性研究の進展にもかかわらず,提案手法の体系的評価が不足している。
本研究では,コンピュータビジョンにおける多種多様な解釈可能性のためのヒューマン・アセスメント・フレームワークHIVE(Human Interpretability of Visual Explanations)を提案する。
我々は,人的学習が,その方法がユーザにとっていかに解釈可能かを適切に評価する上で,金の標準であるべきだと論じる。
コスト,研究設計,クロスメソッド比較に関連する課題から,人間の研究は避けられがちだが,我々のフレームワークは,これらの問題を緩和し,解釈可能性の多様性を表す4つの方法(GradCAM, BagNet, ProtoPNet, ProtoTree)をIRBが承認した研究を行っている。
以上の結果から,(実際に正しいかどうかは別として)人的信頼を保ちつつも,正確な予測と誤予測を区別するには十分でないことが示唆された。
最後に、我々のフレームワークをオープンソース化し、将来の研究を可能にし、解釈可能性に対するより人間中心のアプローチを奨励します。
関連論文リスト
- Human-Modeling in Sequential Decision-Making: An Analysis through the Lens of Human-Aware AI [20.21053807133341]
私たちは、人間を意識したAIシステムを構成するものの説明を提供しようとしています。
人間を意識したAIはデザイン指向のパラダイムであり、人間と対話するかもしれないモデリングの必要性に焦点を当てている。
論文 参考訳（メタデータ） (2024-05-13T14:17:52Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T20:41:18Z) - Towards Fair and Explainable AI using a Human-Centered AI Approach [5.888646114353372]
分類システムと単語埋め込みにおける説明可能性と公平性の向上を目的とした5つの研究プロジェクトについて述べる。
最初のプロジェクトは、ローカルモデル説明を機械教師のインタフェースとして導入するユーティリティ/ダウンサイドについて検討する。
第二のプロジェクトは、因果性に基づくヒューマン・イン・ザ・ループ視覚ツールであるD-BIASを紹介し、データセットの社会的バイアスを特定し緩和する。
第3のプロジェクトは、グループに対するバイアスに対するトレーニング済みの静的単語埋め込みの監査を支援する、ビジュアルインタラクティブツールであるWordBiasを提示する。
4番目のプロジェクトは、ソーシャルを識別するビジュアル分析ツールDramatVis Personae
論文 参考訳（メタデータ） (2023-06-12T21:08:55Z) - Human Uncertainty in Concept-Based AI Systems [37.82747673914624]
概念に基づくAIシステムのコンテキストにおける人間の不確実性について検討する。
不確実な概念ラベルによるトレーニングは、概念ベースシステムにおける弱点を軽減するのに役立つ可能性がある。
論文 参考訳（メタデータ） (2023-03-22T19:17:57Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳（メタデータ） (2022-01-27T22:15:56Z) - Quality Metrics for Transparent Machine Learning With and Without Humans
In the Loop Are Not Correlated [0.0]
心理物理学の手法を用いて,解釈可能なコンピュータビジョンアルゴリズムの品質について検討する。
この結果から,心理物理学的な実験により,機械学習における透明性の堅牢な品質評価が可能であることが示唆された。
論文 参考訳（メタデータ） (2021-07-01T12:30:51Z) - Interpretable Deep Learning: Interpretations, Interpretability,
Trustworthiness, and Beyond [49.93153180169685]
一般に混同される2つの基本的な概念(解釈と解釈可能性)を紹介・明らかにする。
我々は,新しい分類法を提案することにより,異なる視点から,最近のいくつかの解釈アルゴリズムの設計を詳細に述べる。
信頼される」解釈アルゴリズムを用いてモデルの解釈可能性を評価する上での既存の作業をまとめる。
論文 参考訳（メタデータ） (2021-03-19T08:40:30Z) - Evaluating the Interpretability of Generative Models by Interactive
Reconstruction [30.441247705313575]
生成モデル表現の人間解釈可能性の定量化を課題とする。
このタスクのパフォーマンスは、ベースラインアプローチよりも、絡み合ったモデルと絡み合ったモデルをはるかに確実に区別する。
論文 参考訳（メタデータ） (2021-02-02T02:38:14Z) - An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear
Analysis [68.8204255655161]
人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。
シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
論文 参考訳（メタデータ） (2020-07-14T15:47:37Z) - Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。
本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。
我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
論文 参考訳（メタデータ） (2020-07-07T17:19:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。