論文の概要: User Perception of Attention Visualizations: Effects on Interpretability Across Evidence-Based Medical Documents

• arxiv url: http://arxiv.org/abs/2508.10004v1
• Date: Tue, 05 Aug 2025 13:24:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:47.994112
• Title: User Perception of Attention Visualizations: Effects on Interpretability Across Evidence-Based Medical Documents
• Title（参考訳）: 注意可視化のユーザ認識: 証拠に基づく医療文書の解釈可能性への影響
• Authors: Andrés Carvallo, Denis Parra, Peter Brusilovsky, Hernan Valdivieso, Gabriel Rada, Ivania Donoso, Vladimir Araujo,
• Abstract要約: 我々は,バイオメディカル文書分類において,注意に基づく説明がユーザを支援するかどうかを評価するために,ユーザスタディを行った。 その結果,Transformer Model (XLNet) は文書を正確に分類した。 本研究の結果は, 注意重みの全体的有用性は確認されていないが, その有用性は視覚的提示の仕方に影響されることが示唆された。
• 参考スコア（独自算出の注目度）: 3.9013782911237875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The attention mechanism is a core component of the Transformer architecture. Beyond improving performance, attention has been proposed as a mechanism for explainability via attention weights, which are associated with input features (e.g., tokens in a document). In this context, larger attention weights may imply more relevant features for the model's prediction. In evidence-based medicine, such explanations could support physicians' understanding and interaction with AI systems used to categorize biomedical literature. However, there is still no consensus on whether attention weights provide helpful explanations. Moreover, little research has explored how visualizing attention affects its usefulness as an explanation aid. To bridge this gap, we conducted a user study to evaluate whether attention-based explanations support users in biomedical document classification and whether there is a preferred way to visualize them. The study involved medical experts from various disciplines who classified articles based on study design (e.g., systematic reviews, broad synthesis, randomized and non-randomized trials). Our findings show that the Transformer model (XLNet) classified documents accurately; however, the attention weights were not perceived as particularly helpful for explaining the predictions. However, this perception varied significantly depending on how attention was visualized. Contrary to Munzner's principle of visual effectiveness, which favors precise encodings like bar length, users preferred more intuitive formats, such as text brightness or background color. While our results do not confirm the overall utility of attention weights for explanation, they suggest that their perceived helpfulness is influenced by how they are visually presented.
• Abstract（参考訳）: 注意機構はTransformerアーキテクチャのコアコンポーネントである。 パフォーマンスの向上以外にも、インプット機能(文書内のトークンなど)に関連付けられた注意重みによる説明可能性のメカニズムとして注目が提案されている。 この文脈では、より大きな注意重みがモデルの予測に関連性のある特徴を示唆する可能性がある。 根拠に基づく医学では、そのような説明は、医学文献の分類に使われるAIシステムに対する医師の理解と相互作用を支援する可能性がある。 しかし、注意重みが有益な説明を提供するかどうかについては、まだ合意が得られていない。 さらに、注意の可視化が説明支援としての有用性に与える影響についてはほとんど研究されていない。 このギャップを埋めるため, バイオメディカル文書分類において, 注意に基づく説明がユーザを支援するか, それらを視覚化する方法が望ましいかを評価するために, ユーザスタディを行った。 この研究は、様々な分野の専門家が研究デザインに基づいて論文を分類する(例えば、体系的レビュー、広範囲な合成、ランダム化および非ランダム化試験)。 以上の結果から,Transformer Model (XLNet) は文書を精度良く分類した。 しかし、この知覚は、どのように注意が可視化されたかによって大きく異なる。 Munznerの視覚効果の原理とは対照的に、ユーザーはテキストの明るさや背景色といったより直感的なフォーマットを好んだ。 本研究の結果は, 注意重みの全体的有用性は確認されていないが, その有用性は視覚的提示の仕方に影響されることが示唆された。

関連論文リスト

• Regularization, Semi-supervision, and Supervision for a Plausible Attention-Based Explanation [0.2499907423888049]
  実験的な研究は、アテンションマップがモデル出力の説明として提供されることを仮定している。 近年の研究では、RNNエンコーダの注意重みが入力トークンに広まるため、ほとんど証明できないことが示されている。 注意マップの妥当性を向上させるために,学習対象関数に対する3つの制約を提案する。
  論文  参考訳（メタデータ） (2025-01-22T10:17:20Z)
• Visualization of Age Distributions as Elements of Medical Data-Stories [3.589694834579397]
  本研究では, 疾患の年齢分布を示す最も効果的な方法について, 物語的可視化による検討を行った。 我々は、理解、美学、エンゲージメント、記憶可能性に焦点をあてた設計選択を特定した。 伝統的なバーチャートはエンゲージメントに好まれ、他の変種は記憶に残るものとなった。
  論文  参考訳（メタデータ） (2024-09-26T14:00:00Z)
• Attention Meets Post-hoc Interpretability: A Mathematical Perspective [6.492879435794228]
  簡単な注意に基づくアーキテクチャを数学的に研究し、ポストホックとアテンションに基づく説明の違いを指摘する。 それらとは全く異なる結果が得られており、その制限にもかかわらず、ポストホック法は単に注意重みを調べるだけでなく、より有用な洞察を捉えることができることを示した。
  論文  参考訳（メタデータ） (2024-02-05T19:56:56Z)
• Attention cannot be an Explanation [99.37090317971312]
  私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-01-26T21:34:05Z)
• Is Sparse Attention more Interpretable? [52.85910570651047]
  我々は,空間が注意力を説明可能性ツールとして活用する能力にどのように影響するかを検討する。 入力とインデックス付き中間表現の間には弱い関係しか存在しません。 この設定では、疎度を誘導することで、モデルの振る舞いを理解するためのツールとして注意が使用できることが、より確実になる可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-06-02T11:42:56Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• This is not the Texture you are looking for! Introducing Novel Counterfactual Explanations for Non-Experts using Generative Adversarial Learning [59.17685450892182]
  反実用説明システムは、入力画像を変更して反実用推論を可能にする。 本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。 その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-12-22T10:08:05Z)
• Why Attentions May Not Be Interpretable? [46.69116768203185]
  近年の研究では、注目・重要解釈は期待どおりに機能しないことが多いことが判明した。 この現象の根本原因の一つがショートカットであり、注意重み自体が余分な情報を運ぶ可能性があることを示している。 この問題を緩和する2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T05:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。