論文の概要: SyntaxShap: Syntax-aware Explainability Method for Text Generation

• arxiv url: http://arxiv.org/abs/2402.09259v2
• Date: Mon, 3 Jun 2024 10:30:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 18:43:36.083717
• Title: SyntaxShap: Syntax-aware Explainability Method for Text Generation
• Title（参考訳）: SyntaxShap: テキスト生成のための構文認識説明可能性法
• Authors: Kenza Amara, Rita Sevastjanova, Mennatallah El-Assady,
• Abstract要約: 本稿では,テキスト生成のためのモデルに依存しない説明可能性手法であるSyntaxShapを紹介する。 本手法は,自己回帰モデルによる予測に対するより忠実で一貫性のある説明を構築する上で有効であることを示す。
• 参考スコア（独自算出の注目度）: 12.089513278445704
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: To harness the power of large language models in safety-critical domains, we need to ensure the explainability of their predictions. However, despite the significant attention to model interpretability, there remains an unexplored domain in explaining sequence-to-sequence tasks using methods tailored for textual data. This paper introduces SyntaxShap, a local, model-agnostic explainability method for text generation that takes into consideration the syntax in the text data. The presented work extends Shapley values to account for parsing-based syntactic dependencies. Taking a game theoric approach, SyntaxShap only considers coalitions constraint by the dependency tree. We adopt a model-based evaluation to compare SyntaxShap and its weighted form to state-of-the-art explainability methods adapted to text generation tasks, using diverse metrics including faithfulness, coherency, and semantic alignment of the explanations to the model. We show that our syntax-aware method produces explanations that help build more faithful and coherent explanations for predictions by autoregressive models. Confronted with the misalignment of human and AI model reasoning, this paper also highlights the need for cautious evaluation strategies in explainable AI.
• Abstract（参考訳）: 安全クリティカルドメインにおける大規模言語モデルのパワーを活用するためには、それらの予測の説明可能性を確保する必要がある。 しかし、モデル解釈可能性に大きな注意を払っているにもかかわらず、テキストデータに適した手法を用いてシーケンス・ツー・シーケンスのタスクを説明する際には、まだ探索されていない領域が残っている。 本稿では,テキストデータの構文を考慮した局所的モデルに依存しないテキスト生成法であるSyntaxShapを紹介する。 提案された作業は、解析ベースの構文依存を考慮に入れたShapley値を拡張する。 SyntaxShapはゲーム理論のアプローチを採用し、依存性ツリーによって制約される連立性のみを考慮する。 我々は,SyntaxShapとその重み付け形式を,テキスト生成タスクに適応した最先端の説明可能性手法と比較するために,モデルに基づく評価を採用する。 本手法は,自己回帰モデルによる予測に対するより忠実で一貫性のある説明を構築する上で有効であることを示す。 本稿では、人間とAIモデル推論の不整合と相まって、説明可能なAIにおける慎重な評価戦略の必要性を強調した。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Interpreting Vision and Language Generative Models with Semantic Visual Priors [3.3772986620114374]
  我々は、出力シーケンス全体の意味表現を活用する意味のある説明を生成できるSHAPに基づくフレームワークを開発する。 提案手法は,従来の手法よりも計算コストが低く,意味論的に表現力に富んだ説明を生成する。
  論文  参考訳（メタデータ） (2023-04-28T17:10:08Z)
• Understanding Post-hoc Explainers: The Case of Anchors [6.681943980068051]
  本稿では,テキストの判断を説明するために,少数の単語群をハイライトする規則に基づく解釈可能性法の理論解析を行う。 アルゴリズムを定式化し有用な洞察を提供した後、数学的にアンカーが有意義な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:56:34Z)
• Saliency Map Verbalization: Comparing Feature Importance Representations from Model-free and Instruction-based Methods [6.018950511093273]
  サージェンシマップは、重要な入力特徴を特定することによって、ニューラルネットワークの予測を説明することができる。 我々は,サリエンシマップを自然言語に翻訳する未調査課題を定式化する。 本研究では,従来の特徴強調表現と比較した2つの新手法(検索ベースおよび命令ベース言語化)を比較した。
  論文  参考訳（メタデータ） (2022-10-13T17:48:15Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)
• Emergence of Syntax Needs Minimal Supervision [0.0]
  本論は,構文特異的ガイダンスを含まないコーパスからの構文の学習性に関する議論に理論的に寄与する。 提案手法は,文法的情報(シンタクティック情報)と意味・実践的情報を定義するために用いられるコーパスの可観測構造から導かれる。
  論文  参考訳（メタデータ） (2020-05-03T15:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。