論文の概要: Do Users Benefit From Interpretable Vision? A User Study, Baseline, And
Dataset
- arxiv url: http://arxiv.org/abs/2204.11642v1
- Date: Mon, 25 Apr 2022 13:20:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-26 12:27:27.971587
- Title: Do Users Benefit From Interpretable Vision? A User Study, Baseline, And
Dataset
- Title(参考訳): ユーザーは解釈可能な視覚から利益を得るか?
ユーザスタディ,ベースライン,データセット
- Authors: Leon Sixt, Martin Schuessler, Oana-Iuliana Popescu, Philipp Wei{\ss},
Tim Landgraf
- Abstract要約: 本研究では,ベースラインの説明手法が,概念に基づく,反現実的な説明に対してどのように機能するかを検証するために,ユーザスタディを実施している。
そこで,本研究では,参加者が属性の集合を,基幹構造と比較して識別できるかどうかを検証した。
非可逆ニューラルネットワークからの対実的説明はベースラインと同様に実行された。
- 参考スコア(独自算出の注目度): 8.863479255829139
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A variety of methods exist to explain image classification models. However,
whether they provide any benefit to users over simply comparing various inputs
and the model's respective predictions remains unclear. We conducted a user
study (N=240) to test how such a baseline explanation technique performs
against concept-based and counterfactual explanations. To this end, we
contribute a synthetic dataset generator capable of biasing individual
attributes and quantifying their relevance to the model. In a study, we assess
if participants can identify the relevant set of attributes compared to the
ground-truth. Our results show that the baseline outperformed concept-based
explanations. Counterfactual explanations from an invertible neural network
performed similarly as the baseline. Still, they allowed users to identify some
attributes more accurately. Our results highlight the importance of measuring
how well users can reason about biases of a model, rather than solely relying
on technical evaluations or proxy tasks. We open-source our study and dataset
so it can serve as a blue-print for future studies. For code see,
https://github.com/berleon/do_users_benefit_from_interpretable_vision
- Abstract(参考訳): 画像分類モデルを説明する様々な方法が存在する。
しかし、単に様々な入力とモデルのそれぞれの予測を比較するよりも、ユーザにとってメリットがあるかどうかは不明だ。
そこで我々は,このようなベースライン説明手法が,概念ベースおよび反現実的説明に対してどのように作用するかを検証するために,ユーザスタディ(N=240)を行った。
この目的のために,個々の属性を偏り,モデルとの関連性を定量化できる合成データセット生成器を提案する。
そこで,本研究では,参加者が属性の集合を,基幹構造と比較できるかどうかを評価する。
その結果,ベースラインは概念に基づく説明よりも優れていた。
可逆ニューラルネットワークからの反事実的説明は、ベースラインと同様に実行される。
それでも、ユーザーは属性をより正確に特定できる。
この結果は,技術的評価やプロキシタスクにのみ依存するのではなく,モデルのバイアスをユーザがどの程度うまく判断できるかを評価することの重要性を強調した。
私たちは研究とデータセットをオープンソースにして、将来の研究の青写真として利用しています。
コード参照: https://github.com/berleon/do_users_benefit_from_interpretable_vision
関連論文リスト
- ConceptDrift: Uncovering Biases through the Lens of Foundation Models [5.025665239455297]
ceptDriftは、人間の事前知識なしでデータセット内のバイアスを自動的に識別できる。
本稿では,従来の作業のギャップを埋める2つのバイアス識別評価プロトコルを提案し,本手法がSoTA法よりも大幅に改善されていることを示す。
我々の手法は単一のモダリティに縛られず、画像(Waterbirds, CelebA, ImageNet)とテキストデータセット(CivilComments)の両方で実証的に検証する。
論文 参考訳(メタデータ) (2024-10-24T17:59:16Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。
ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。
このフィードバックの有効性を,文脈内学習を通じて評価する。
論文 参考訳(メタデータ) (2023-11-16T04:26:32Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。
偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。
人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
論文 参考訳(メタデータ) (2023-05-24T04:27:40Z) - Overlooked factors in concept-based explanations: Dataset choice,
concept learnability, and human capability [25.545486537295144]
概念に基づく解釈可能性法は、事前に定義されたセマンティック概念のセットを使用して、ディープニューラルネットワークモデル予測を説明することを目的としている。
その人気にもかかわらず、文学によって十分に理解され、明瞭化されていない限界に悩まされている。
概念に基づく説明において、よく見過ごされる3つの要因を分析した。
論文 参考訳(メタデータ) (2022-07-20T01:59:39Z) - Certifying Robustness to Programmable Data Bias in Decision Trees [12.060443368097102]
学習者が生成したモデルは、潜在的なデータセットバイアスに対してポイントワイズで損なわれていることを証明します。
このアプローチでは,さまざまな次元にまたがるバイアスモデルを指定することが可能です。
フェアネス文献でよく用いられるデータセットに対する我々のアプローチを評価する。
論文 参考訳(メタデータ) (2021-10-08T20:15:17Z) - Contrastive Explanations for Model Interpretability [77.92370750072831]
分類モデルの対照的説明を生成する手法を提案する。
本手法は潜在空間へのモデル表現の投影に基づいている。
本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
論文 参考訳(メタデータ) (2021-03-02T00:36:45Z) - Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial
Explanations of Their Behavior in Natural Language? [86.60613602337246]
我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。
LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。
マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
論文 参考訳(メタデータ) (2020-10-08T16:59:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。