論文の概要: "Let's Agree to Disagree": Investigating the Disagreement Problem in Explainable AI for Text Summarization

• arxiv url: http://arxiv.org/abs/2410.18560v2
• Date: Thu, 06 Nov 2025 06:40:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 15:57:27.541723
• Title: "Let's Agree to Disagree": Investigating the Disagreement Problem in Explainable AI for Text Summarization
• Title（参考訳）: テキスト要約のための説明可能なAIにおける診断問題の検討
• Authors: Seema Aswani, Sujala D. Shetty,
• Abstract要約: 「相違問題」は、異なるXAI手法が同じモデル結果に対して矛盾する説明を下すときに発生する。 この研究は、テキスト要約における不一致問題を経験的に調査した最初のものの一つである。 我々はテキストセグメントにXAIメソッドを使用して、不一致を減らすための局所的な説明を作成する。
• 参考スコア（独自算出の注目度）: 1.4466802614938328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explainable Artificial Intelligence (XAI) methods in text summarization are essential for understanding the model behavior and fostering trust in model-generated summaries. Despite the effectiveness of XAI methods, recent studies have highlighted a key challenge in this area known as the "disagreement problem". This problem occurs when different XAI methods yield conflicting explanations for the same model outcome. Such discrepancies raise concerns about the consistency of explanations and reduce confidence in model interpretations, which is crucial for secure and accountable AI applications. This work is among the first to empirically investigate the disagreement problem in text summarization, demonstrating that such discrepancies are widespread in state-of-the-art summarization models. To address this gap, we propose Regional Explainable AI (RXAI) a novel segmentation-based approach, where each article is divided into smaller, coherent segments using sentence transformers and clustering. We use XAI methods on text segments to create localized explanations that help reduce disagreement between different XAI methods, thereby enhancing the trustworthiness of AI-generated summaries. Our results illustrate that the localized explanations are more consistent than full-text explanations. The proposed approach is validated using two benchmark summarization datasets, Extreme summarization (Xsum) and CNN/Daily Mail, indicating a substantial decrease in disagreement. Additionally, the interactive JavaScript visualization tool is developed to facilitate easy, color-coded exploration of attribution scores at the sentence level, enhancing user comprehension of model explanations.
• Abstract（参考訳）: テキスト要約における説明可能な人工知能(XAI)手法は、モデル行動を理解し、モデル生成要約に対する信頼を促進するために不可欠である。 XAI手法の有効性にもかかわらず、近年の研究では「診断問題」として知られる領域における重要な課題が浮き彫りになっている。 この問題は、異なるXAIメソッドが同じモデルの結果に対して矛盾する説明を与えるときに発生する。 このような不一致は、説明の一貫性に関する懸念を提起し、モデル解釈の信頼性を低下させる。 この研究は、テキスト要約における不一致問題を経験的に研究し、最先端の要約モデルにおいてそのような不一致が広く見られることを実証した最初の例である。 このギャップに対処するために,文トランスフォーマーとクラスタリングを用いて,各記事をより小さく一貫性のあるセグメントに分割する,新しいセグメンテーションベースのアプローチであるRegional Explainable AI(RXAI)を提案する。 我々はテキストセグメントにXAI手法を用いて、異なるXAI手法間の不一致を減らすための局所的な説明を作成し、それによってAI生成した要約の信頼性を高める。 以上の結果から,局所的な説明はフルテキストの説明よりも一貫性が高いことが示唆された。 提案手法は,2つのベンチマーク要約データセット,Extreme summarization (Xsum) と CNN/Daily Mail を用いて検証した。 さらに、インタラクティブなJavaScript可視化ツールが開発され、文レベルでの属性スコアのカラーコードによる探索が容易になり、モデル説明のユーザ理解が向上する。

関連論文リスト

• ContextualSHAP : Enhancing SHAP Explanations Through Contextual Language Generation [0.0]
  大規模言語モデル(LLM)と統合してSHAPを拡張するPythonパッケージを提案する。 この統合は、モデルコンテキストとユーザ視点の両方を説明するために、ユーザ定義パラメータによって導かれる。 結果: 生成した説明は視覚のみの出力よりも理解しやすく, 文脈的に適切であると考えられた。
  論文  参考訳（メタデータ） (2025-12-08T05:18:15Z)
• Towards Robust and Accurate Stability Estimation of Local Surrogate Models in Text-based Explainable AI [9.31572645030282]
  NLP領域における説明可能なAI(XAI)に対する敵攻撃では、生成された説明が操作される。 このXAI操作の中心は、ある説明が他の説明とどのように異なるかを計算するのに使用される類似度尺度である。 本研究は,テキストベースのランキングリストを対象とした類似度尺度について検討し,その使用適性について検討した。
  論文  参考訳（メタデータ） (2025-01-03T17:44:57Z)
• H-STAR: LLM-driven Hybrid SQL-Text Adaptive Reasoning on Tables [56.73919743039263]
  本稿では,2段階のプロセスにシンボル的アプローチと意味的アプローチ(テキスト的アプローチ)を統合し,制約に対処する新しいアルゴリズムを提案する。 実験の結果,H-STARは3つの質問応答(QA)と事実検証データセットにおいて,最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-06-29T21:24:19Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Local Universal Explainer (LUX) -- a rule-based explainer with factual, counterfactual and visual explanations [7.673339435080445]
  Local Universal Explainer (LUX) は、現実的、対実的、視覚的な説明を生成できるルールベースの説明器である。 これは、決定木アルゴリズムの修正版に基づいており、斜め分割とSHAPのような重要なXAIメソッドとの統合を可能にする。 提案手法を実データと合成データセットで検証し, LORE, EXPLAN, Anchorなどの最先端のルールベースの説明器と比較した。
  論文  参考訳（メタデータ） (2023-10-23T13:04:15Z)
• Scene Text Recognition Models Explainability Using Local Features [11.990881697492078]
  Scene Text Recognition (STR) 説明可能性(Explainability)は、人間がモデルの予測の原因を理解する方法の研究である。 STRに関する最近のXAI文献は、単純な分析のみを提供しており、他のXAI手法を完全には探求していない。 具体的には、ディープラーニングモデルにおける入力データの重要な部分を説明する、属性ベースの手法と呼ばれるデータ説明可能性フレームワークについて研究する。 本研究では,局所的な説明,すなわち個々のキャラクタ予測説明を考慮に入れたSTRExpという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-14T10:01:52Z)
• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Theoretical Behavior of XAI Methods in the Presence of Suppressor Variables [0.8602553195689513]
  近年,「説明可能な人工知能(XAI)」のコミュニティは,モデル「複雑性」と「解釈可能性」のギャップを埋めるための膨大な手法を生み出している。 本研究のアプローチの大部分は, 相関雑音の存在下での非クラス関連抑制機能に非ゼロの重要性が寄与すると考えられる。
  論文  参考訳（メタデータ） (2023-06-02T11:41:19Z)
• An Experimental Investigation into the Evaluation of Explainability Methods [60.54170260771932]
  この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。 実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
  論文  参考訳（メタデータ） (2023-05-25T08:07:07Z)
• INTERACTION: A Generative XAI Framework for Natural Language Inference Explanations [58.062003028768636]
  現在のXAIアプローチは、ひとつの説明を提供することにのみ焦点をあてています。 本稿では、生成型XAIフレームワーク、InterACTION(explaIn aNd predicT thEn queRy with contextuAl CondiTional variational autO-eNcoder)を提案する。 提案するフレームワークは,説明とラベル予測の2つのステップ,および(ステップ2)異種証拠生成の2つのステップで説明を行う。
  論文  参考訳（メタデータ） (2022-09-02T13:52:39Z)
• Local Explanation of Dialogue Response Generation [77.68077106724522]
  反応生成の局所的説明(LERG)は、生成モデルの推論過程に関する洞察を得るために提案される。 LERGは、シーケンス予測を人間の応答の不確実性推定とみなし、入力を摂動させ、人間の応答に対する確実性の変化を計算することによって説明を作成する。 提案手法は, 提案手法を改良し, 提案手法の4.4～12.8%を改良した。
  論文  参考訳（メタデータ） (2021-06-11T17:58:36Z)
• The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey [25.59111855107199]
  Seq2Seqフレームワークによって開発されたニューラルエンコーダデコーダモデルは、より抽象的な要約を生成するという目標を達成するために提案されている。 高いレベルでは、そのようなニューラルネットワークは、使用される単語やフレーズに制約を加えることなく、自由に要約を生成することができる。 しかし、神経モデルの抽象化能力は二重刃の剣である。
  論文  参考訳（メタデータ） (2021-04-30T08:46:13Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• Data Representing Ground-Truth Explanations to Evaluate XAI Methods [0.0]
  現在、説明可能な人工知能(XAI)手法は、主に解釈可能な機械学習(IML)研究に由来するアプローチで評価されている。 本稿では,XAI手法の精度を評価するために用いられる正準方程式を用いた説明法を提案する。
  論文  参考訳（メタデータ） (2020-11-18T16:54:53Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• Exploring Explainable Selection to Control Abstractive Summarization [51.74889133688111]
  説明可能性を重視した新しいフレームワークを開発する。 新しいペアワイズ行列は、文の相互作用、中心性、属性スコアをキャプチャする。 コンストラクタ内の文分割アテンション機構は、最終要約が所望のコンテンツを強調することを保証する。
  論文  参考訳（メタデータ） (2020-04-24T14:39:34Z)
• Ontology-based Interpretable Machine Learning for Textual Data [35.01650633374998]
  本稿では,予測モデルを説明するためのサンプリング手法に基づいて,解釈可能なモデルを学習する新しい解釈フレームワークを提案する。 説明のために探索空間を狭めるために,学習可能なアンカーアルゴリズムを設計する。 さらに、学習された解釈可能な表現とアンカーを組み合わせることで、理解可能な説明を生成する一連の規則が導入された。
  論文  参考訳（メタデータ） (2020-04-01T02:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。