論文の概要: Human Interpretation of Saliency-based Explanation Over Text

• arxiv url: http://arxiv.org/abs/2201.11569v1
• Date: Thu, 27 Jan 2022 15:20:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 13:22:19.165887
• Title: Human Interpretation of Saliency-based Explanation Over Text
• Title（参考訳）: テキストによる敬礼に基づく説明の人間的解釈
• Authors: Hendrik Schuff, Alon Jacovi, Heike Adel, Yoav Goldberg and Ngoc Thang Vu
• Abstract要約: テキストデータ上でのサリエンシに基づく説明について検討する。 人はしばしば説明を誤って解釈する。 本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
• 参考スコア（独自算出の注目度）: 65.29015910991261
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While a lot of research in explainable AI focuses on producing effective explanations, less work is devoted to the question of how people understand and interpret the explanation. In this work, we focus on this question through a study of saliency-based explanations over textual data. Feature-attribution explanations of text models aim to communicate which parts of the input text were more influential than others towards the model decision. Many current explanation methods, such as gradient-based or Shapley value-based methods, provide measures of importance which are well-understood mathematically. But how does a person receiving the explanation (the explainee) comprehend it? And does their understanding match what the explanation attempted to communicate? We empirically investigate the effect of various factors of the input, the feature-attribution explanation, and visualization procedure, on laypeople's interpretation of the explanation. We query crowdworkers for their interpretation on tasks in English and German, and fit a GAMM model to their responses considering the factors of interest. We find that people often mis-interpret the explanations: superficial and unrelated factors, such as word length, influence the explainees' importance assignment despite the explanation communicating importance directly. We then show that some of this distortion can be attenuated: we propose a method to adjust saliencies based on model estimates of over- and under-perception, and explore bar charts as an alternative to heatmap saliency visualization. We find that both approaches can attenuate the distorting effect of specific factors, leading to better-calibrated understanding of the explanation.
• Abstract（参考訳）: 説明可能なaiに関する多くの研究は、効果的な説明を生み出すことに焦点を当てているが、人々が説明をどのように理解し、解釈するかという問題に費やされる作業は少ない。 そこで本研究では,テキストデータに対するサリエンシに基づく説明を通じて,この問題に焦点をあてる。 テキストモデルの特徴帰属説明は、入力テキストのどの部分がモデル決定に対して他の部分よりも影響力があるかを伝えることを目的としている。 勾配法やシェープ法のような現在の多くの説明法は、数学的によく理解されている重要な尺度を提供する。 しかし、説明を受けた人はどのように理解するのだろうか? 彼らの理解は 説明が伝えようとしたものと一致していますか? 本研究は, 様々な入力要因, 特徴属性説明, 可視化手順が, 在職者の説明解釈に及ぼす影響を実証的に検討した。 我々は、英語とドイツ語のタスクに対する解釈をクラウドワーカーに問い合わせ、興味のある要素を考慮してGAMMモデルに適合させる。 単語の長さなどの表面的・無関係な要因は, 直接的に重要度を伝える説明にもかかわらず, 説明者の重要度に影響を及ぼす。 そこで本研究では,過度知覚と過度知覚のモデル推定に基づいて塩分濃度を調整する手法を提案し,熱マップの塩分濃度可視化の代替としてバーチャートを探索する。 どちらの手法も、特定の要因の歪曲効果を減衰させ、説明のより良い校正を行うことができる。

関連論文リスト

• Dissenting Explanations: Leveraging Disagreement to Reduce Model Overreliance [4.962171160815189]
  本稿では, 矛盾する説明, 付随する説明と矛盾する予測について紹介する。 まず、モデル乗法の設定における不一致の説明の利点を考察する。 本研究では,不一致説明が全体の精度を低下させることなく,モデル予測の過度な信頼性を低下させることを実証する。
  論文  参考訳（メタデータ） (2023-07-14T21:27:00Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Complementary Explanations for Effective In-Context Learning [77.83124315634386]
  大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。 この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2022-11-25T04:40:47Z)
• REX: Reasoning-aware and Grounded Explanation [30.392986232906107]
  我々は,画像中の推論プロセスとグラウンド化キーワードをトラバースすることで,意思決定を説明する,新しいタイプのマルチモーダルな説明を開発する。 第2に、意思決定を説明するために、視覚的およびテキスト的モダリティに重要なコンポーネントを密に結合する必要があることを特定する。 第3に、単語と興味のある領域のペアワイズ対応を明示的にモデル化する、新しい説明生成手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T17:28:42Z)
• Causal Explanations and XAI [8.909115457491522]
  説明可能な人工知能(XAI)の重要な目標は、説明を提供することでミスマッチを補うことである。 十分な説明と事実的説明の因果的概念を正式に定義し、さらに一歩踏み出します。 また、この研究のAIにおける公正性に対する重要性についても触れ、パス固有の反現実的公正性の概念を改善するために、実際の因果関係をどのように利用できるかを示しています。
  論文  参考訳（メタデータ） (2022-01-31T12:32:10Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• Explainers in the Wild: Making Surrogate Explainers Robust to Distortions through Perception [77.34726150561087]
  説明における歪みの影響を知覚距離を埋め込むことで評価する手法を提案する。 Imagenet-Cデータセットの画像の説明を生成し、サロゲート説明書の知覚距離を使用して歪んだ画像と参照画像のより一貫性のある説明を作成する方法を示しています。
  論文  参考訳（メタデータ） (2021-02-22T12:38:53Z)
• The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets [61.66584140190247]
  機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。 そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T09:45:23Z)
• The Explanation Game: Towards Prediction Explainability through Sparse Communication [6.497816402045099]
  我々は,説明責任の統一的な視点を,説明者と素人の間の問題として提供する。 このフレームワークを使って、説明の抽出にいくつかの先行したアプローチを比較します。 本稿では,選択的,スパースな注意力を用いて,説明可能性のための新しい組込み手法を提案する。
  論文  参考訳（メタデータ） (2020-04-28T22:27:19Z)
• Order Matters: Generating Progressive Explanations for Planning Tasks in Human-Robot Teaming [11.35869940310993]
  本稿では,説明文を複数の部分に分割して順次通信する場合に,説明文生成時の影響を調査することを目的とする。 我々はまず,スキャベンジャーハントドメインに対するアプローチを評価し,人間の嗜好を効果的に捉えることを実証した。 その結果,説明の理解過程は動的過程であるという仮説が得られた。
  論文  参考訳（メタデータ） (2020-04-16T00:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。