論文の概要: Explainable News Summarization -- Analysis and mitigation of Disagreement Problem

• arxiv url: http://arxiv.org/abs/2410.18560v1
• Date: Thu, 24 Oct 2024 09:07:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:39.836061
• Title: Explainable News Summarization -- Analysis and mitigation of Disagreement Problem
• Title（参考訳）: 説明可能なニュース要約 -- 診断問題の解析と緩和
• Authors: Seema Aswani, Sujala D. Shetty,
• Abstract要約: テキスト要約のための説明可能なAI(XAI)技術は、要約の生成方法に関する貴重な理解を提供する。 近年の研究では、不一致問題として知られるこの分野の大きな課題が浮き彫りになっている。 この問題は、異なるXAI手法が同じ入力記事から生成された要約について矛盾する説明を提供するときに発生する。 本稿では,文変換器とk平均クラスタリングアルゴリズムを用いて,まず入力項目を分割し,各セグメントで生成された要約の説明を生成する手法を提案する。
• 参考スコア（独自算出の注目度）: 2.685668802278156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explainable AI (XAI) techniques for text summarization provide valuable understanding of how the summaries are generated. Recent studies have highlighted a major challenge in this area, known as the disagreement problem. This problem occurs when different XAI methods offer contradictory explanations for the summary generated from the same input article. This inconsistency across XAI methods has been evaluated using predefined metrics designed to quantify agreement levels between them, revealing significant disagreement. This impedes the reliability and interpretability of XAI in this area. To address this challenge, we propose a novel approach that utilizes sentence transformers and the k-means clustering algorithm to first segment the input article and then generate the explanation of the summary generated for each segment. By producing regional or segmented explanations rather than comprehensive ones, a decrease in the observed disagreement between XAI methods is hypothesized. This segmentation-based approach was used on two news summarization datasets, namely Extreme Summarization(XSum) and CNN-DailyMail, and the experiment was conducted using multiple disagreement metrics. Our experiments validate the hypothesis by showing a significant reduction in disagreement among different XAI methods. Additionally, a JavaScript visualization tool is developed, that is easy to use and allows users to interactively explore the color-coded visualization of the input article and the machine-generated summary based on the attribution scores of each sentences.
• Abstract（参考訳）: テキスト要約のための説明可能なAI(XAI)技術は、要約の生成方法に関する貴重な理解を提供する。 近年の研究では、不一致問題として知られるこの分野の大きな課題が浮き彫りになっている。 この問題は、異なるXAI手法が同じ入力記事から生成された要約について矛盾する説明を提供するときに発生する。 XAI手法間のこの矛盾は、それらの間の合意レベルを定量化するために設計された事前定義された指標を用いて評価され、大きな不一致が明らかになっている。 これは、この領域におけるXAIの信頼性と解釈可能性を妨げる。 この課題に対処するために,文変換器とk平均クラスタリングアルゴリズムを用いて,まず入力項目を分割し,各セグメントで生成された要約の説明を生成する手法を提案する。 包括的ではなく,地域的・分節的な説明を生み出すことにより,XAI法とXAI法との相違点の減少が仮定される。 このセグメンテーションに基づくアプローチは、Extreme Summarization(XSum)とCNN-DailyMailという2つのニュース要約データセットに使われ、複数の不一致指標を用いて実験を行った。 実験では, 異なるXAI手法の相違点を顕著に減少させることで, 仮説を検証した。 さらに、使用が容易で、各文の属性スコアに基づいて、入力記事と機械生成要約のカラーコードによる視覚化をインタラクティブに探索することができるJavaScript視覚化ツールも開発されている。

関連論文リスト

• ContextualSHAP : Enhancing SHAP Explanations Through Contextual Language Generation [0.0]
  大規模言語モデル(LLM)と統合してSHAPを拡張するPythonパッケージを提案する。 この統合は、モデルコンテキストとユーザ視点の両方を説明するために、ユーザ定義パラメータによって導かれる。 結果: 生成した説明は視覚のみの出力よりも理解しやすく, 文脈的に適切であると考えられた。
  論文  参考訳（メタデータ） (2025-12-08T05:18:15Z)
• Towards Robust and Accurate Stability Estimation of Local Surrogate Models in Text-based Explainable AI [9.31572645030282]
  NLP領域における説明可能なAI(XAI)に対する敵攻撃では、生成された説明が操作される。 このXAI操作の中心は、ある説明が他の説明とどのように異なるかを計算するのに使用される類似度尺度である。 本研究は,テキストベースのランキングリストを対象とした類似度尺度について検討し,その使用適性について検討した。
  論文  参考訳（メタデータ） (2025-01-03T17:44:57Z)
• H-STAR: LLM-driven Hybrid SQL-Text Adaptive Reasoning on Tables [56.73919743039263]
  本稿では,2段階のプロセスにシンボル的アプローチと意味的アプローチ(テキスト的アプローチ)を統合し,制約に対処する新しいアルゴリズムを提案する。 実験の結果,H-STARは3つの質問応答(QA)と事実検証データセットにおいて,最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-06-29T21:24:19Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Local Universal Explainer (LUX) -- a rule-based explainer with factual, counterfactual and visual explanations [7.673339435080445]
  Local Universal Explainer (LUX) は、現実的、対実的、視覚的な説明を生成できるルールベースの説明器である。 これは、決定木アルゴリズムの修正版に基づいており、斜め分割とSHAPのような重要なXAIメソッドとの統合を可能にする。 提案手法を実データと合成データセットで検証し, LORE, EXPLAN, Anchorなどの最先端のルールベースの説明器と比較した。
  論文  参考訳（メタデータ） (2023-10-23T13:04:15Z)
• Scene Text Recognition Models Explainability Using Local Features [11.990881697492078]
  Scene Text Recognition (STR) 説明可能性(Explainability)は、人間がモデルの予測の原因を理解する方法の研究である。 STRに関する最近のXAI文献は、単純な分析のみを提供しており、他のXAI手法を完全には探求していない。 具体的には、ディープラーニングモデルにおける入力データの重要な部分を説明する、属性ベースの手法と呼ばれるデータ説明可能性フレームワークについて研究する。 本研究では,局所的な説明,すなわち個々のキャラクタ予測説明を考慮に入れたSTRExpという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-14T10:01:52Z)
• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Theoretical Behavior of XAI Methods in the Presence of Suppressor Variables [0.8602553195689513]
  近年,「説明可能な人工知能(XAI)」のコミュニティは,モデル「複雑性」と「解釈可能性」のギャップを埋めるための膨大な手法を生み出している。 本研究のアプローチの大部分は, 相関雑音の存在下での非クラス関連抑制機能に非ゼロの重要性が寄与すると考えられる。
  論文  参考訳（メタデータ） (2023-06-02T11:41:19Z)
• An Experimental Investigation into the Evaluation of Explainability Methods [60.54170260771932]
  この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。 実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
  論文  参考訳（メタデータ） (2023-05-25T08:07:07Z)
• INTERACTION: A Generative XAI Framework for Natural Language Inference Explanations [58.062003028768636]
  現在のXAIアプローチは、ひとつの説明を提供することにのみ焦点をあてています。 本稿では、生成型XAIフレームワーク、InterACTION(explaIn aNd predicT thEn queRy with contextuAl CondiTional variational autO-eNcoder)を提案する。 提案するフレームワークは,説明とラベル予測の2つのステップ,および(ステップ2)異種証拠生成の2つのステップで説明を行う。
  論文  参考訳（メタデータ） (2022-09-02T13:52:39Z)
• Local Explanation of Dialogue Response Generation [77.68077106724522]
  反応生成の局所的説明(LERG)は、生成モデルの推論過程に関する洞察を得るために提案される。 LERGは、シーケンス予測を人間の応答の不確実性推定とみなし、入力を摂動させ、人間の応答に対する確実性の変化を計算することによって説明を作成する。 提案手法は, 提案手法を改良し, 提案手法の4.4～12.8%を改良した。
  論文  参考訳（メタデータ） (2021-06-11T17:58:36Z)
• The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey [25.59111855107199]
  Seq2Seqフレームワークによって開発されたニューラルエンコーダデコーダモデルは、より抽象的な要約を生成するという目標を達成するために提案されている。 高いレベルでは、そのようなニューラルネットワークは、使用される単語やフレーズに制約を加えることなく、自由に要約を生成することができる。 しかし、神経モデルの抽象化能力は二重刃の剣である。
  論文  参考訳（メタデータ） (2021-04-30T08:46:13Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• Data Representing Ground-Truth Explanations to Evaluate XAI Methods [0.0]
  現在、説明可能な人工知能(XAI)手法は、主に解釈可能な機械学習(IML)研究に由来するアプローチで評価されている。 本稿では,XAI手法の精度を評価するために用いられる正準方程式を用いた説明法を提案する。
  論文  参考訳（メタデータ） (2020-11-18T16:54:53Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• Exploring Explainable Selection to Control Abstractive Summarization [51.74889133688111]
  説明可能性を重視した新しいフレームワークを開発する。 新しいペアワイズ行列は、文の相互作用、中心性、属性スコアをキャプチャする。 コンストラクタ内の文分割アテンション機構は、最終要約が所望のコンテンツを強調することを保証する。
  論文  参考訳（メタデータ） (2020-04-24T14:39:34Z)
• Ontology-based Interpretable Machine Learning for Textual Data [35.01650633374998]
  本稿では,予測モデルを説明するためのサンプリング手法に基づいて,解釈可能なモデルを学習する新しい解釈フレームワークを提案する。 説明のために探索空間を狭めるために,学習可能なアンカーアルゴリズムを設計する。 さらに、学習された解釈可能な表現とアンカーを組み合わせることで、理解可能な説明を生成する一連の規則が導入された。
  論文  参考訳（メタデータ） (2020-04-01T02:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。