論文の概要: Beyond Model Interpretability: On the Faithfulness and Adversarial Robustness of Contrastive Textual Explanations

• arxiv url: http://arxiv.org/abs/2210.08902v1
• Date: Mon, 17 Oct 2022 09:50:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 16:40:27.069242
• Title: Beyond Model Interpretability: On the Faithfulness and Adversarial Robustness of Contrastive Textual Explanations
• Title（参考訳）: モデル解釈可能性を超えて--コントラスト的テクスト説明の忠実性と敵対的ロバスト性について
• Authors: Julia El Zini, and Mariette Awad
• Abstract要約: 本研究は、説明の忠実さに触発された新たな評価手法の基盤を築き、テキストの反事実を動機づけるものである。 感情分析データを用いた実験では, 両モデルとも, 対物関係の関連性は明らかでないことがわかった。
• 参考スコア（独自算出の注目度）: 2.543865489517869
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Contrastive explanation methods go beyond transparency and address the contrastive aspect of explanations. Such explanations are emerging as an attractive option to provide actionable change to scenarios adversely impacted by classifiers' decisions. However, their extension to textual data is under-explored and there is little investigation on their vulnerabilities and limitations. This work motivates textual counterfactuals by laying the ground for a novel evaluation scheme inspired by the faithfulness of explanations. Accordingly, we extend the computation of three metrics, proximity,connectedness and stability, to textual data and we benchmark two successful contrastive methods, POLYJUICE and MiCE, on our suggested metrics. Experiments on sentiment analysis data show that the connectedness of counterfactuals to their original counterparts is not obvious in both models. More interestingly, the generated contrastive texts are more attainable with POLYJUICE which highlights the significance of latent representations in counterfactual search. Finally, we perform the first semantic adversarial attack on textual recourse methods. The results demonstrate the robustness of POLYJUICE and the role that latent input representations play in robustness and reliability.
• Abstract（参考訳）: 対照的な説明法は透明性を超え、説明の対照的な側面に対処する。 このような説明は、分類者の判断に悪影響を及ぼすシナリオに実行可能な変更を提供するための魅力的な選択肢として現れている。 しかし、テキストデータへの拡張は未調査であり、脆弱性や制限についてはほとんど調査されていない。 本研究は、説明の忠実さに触発された新たな評価手法の基盤を築き、テキストの反事実を動機付けている。 そこで本研究では, 近接性, 接続性, 安定性の3つの指標をテキストデータに拡張し, 提案した指標に基づいて2つのコントラスト法, POLYJUICE と MiCE をベンチマークした。 感情分析データを用いた実験では, 両モデルとも, 対物関係の関連性は明らかでない。 より興味深いことに、生成したコントラストテキストは、反ファクト検索における潜在表現の重要性を強調するPOLYJUICEによりより達成可能である。 最後に,テキストリコース法において,最初の意味的敵意攻撃を行う。 その結果、PolyJUICEの堅牢性と、潜在入力表現が堅牢性と信頼性に果たす役割が示された。

関連論文リスト

• Does Faithfulness Conflict with Plausibility? An Empirical Study in Explainable AI across NLP Tasks [9.979726030996051]
  私たちは、Shapleyの価値とLIMEがより忠実で妥当性が高いことを示す。 この結果から,一方の次元を一方の次元に最適化するのではなく,2つの目的を持つ説明可能性アルゴリズムを最適化する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-29T20:28:42Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization [56.94741578760294]
  本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。 要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
  論文  参考訳（メタデータ） (2023-05-23T22:11:47Z)
• Counterfactual Debiasing for Generating Factually Consistent Text Summaries [46.88138136539263]
  我々は,抽象的なテキスト要約のための因果グラフを構築し,事実的矛盾の本質的な原因を同定する。 本稿では,これらのバイアスの因果的影響を,非現実的推定によって緩和する,CoFactSumという脱バイアスフレームワークを提案する。 広く使われている2つの要約データセットの実験は、CoFactSumの有効性を実証している。
  論文  参考訳（メタデータ） (2023-05-18T06:15:45Z)
• Interpretable multimodal sentiment analysis based on textual modality descriptions by using large-scale language models [1.4213973379473654]
  マルチモーダル感情分析は、ユーザの内部状態を理解する上で重要な領域である。 従来の研究は、注意重みやベクトル分布を使って解釈性を提供しようと試みてきた。 本研究では,非言語的モダリティをテキスト記述に変換することによって解釈可能性を実現する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T06:48:06Z)
• Context-faithful Prompting for Large Language Models [51.194410884263135]
  大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
  論文  参考訳（メタデータ） (2023-03-20T17:54:58Z)
• Estimating the Adversarial Robustness of Attributions in Text with Transformers [44.745873282080346]
  リプシッツ連続性に基づくテキスト分類における帰属ロバスト性(AR)の新たな定義を確立する。 そこで我々は,テキスト分類における属性の厳密な推定を行う強力な敵であるTransformerExplanationAttack (TEA)を提案する。
  論文  参考訳（メタデータ） (2022-12-18T20:18:59Z)
• Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment Analysis [56.84237932819403]
  本稿では,OODの高次一般化に対するテキストモダリティの悪影響を推定・緩和することを目的とする。 そこで本研究では,マルチモーダル感情分析のためのモデルに依存しない反現実的フレームワークを考案した。
  論文  参考訳（メタデータ） (2022-07-24T03:57:40Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。