論文の概要: Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales

• arxiv url: http://arxiv.org/abs/2404.03098v1
• Date: Wed, 3 Apr 2024 22:39:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 16:12:59.582676
• Title: Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales
• Title（参考訳）: 人間の論理を用いたテキスト分類器のモデル性能と説明可能性のトレードオフを探る
• Authors: Lucas E. Resck, Marcos M. Raimundo, Jorge Poco,
• Abstract要約: ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。 本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
• 参考スコア（独自算出の注目度）: 3.242050660144211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Saliency post-hoc explainability methods are important tools for understanding increasingly complex NLP models. While these methods can reflect the model's reasoning, they may not align with human intuition, making the explanations not plausible. In this work, we present a methodology for incorporating rationales, which are text annotations explaining human decisions, into text classification models. This incorporation enhances the plausibility of post-hoc explanations while preserving their faithfulness. Our approach is agnostic to model architectures and explainability methods. We introduce the rationales during model training by augmenting the standard cross-entropy loss with a novel loss function inspired by contrastive learning. By leveraging a multi-objective optimization algorithm, we explore the trade-off between the two loss functions and generate a Pareto-optimal frontier of models that balance performance and plausibility. Through extensive experiments involving diverse models, datasets, and explainability methods, we demonstrate that our approach significantly enhances the quality of model explanations without causing substantial (sometimes negligible) degradation in the original model's performance.
• Abstract（参考訳）: ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。 これらの手法はモデルの推論を反映できるが、人間の直観と一致しない可能性があり、説明は不可能である。 本研究では,人間の判断を説明するテキストアノテーションである有理論をテキスト分類モデルに組み込む手法を提案する。 この組織化は、彼らの忠実さを維持しながら、ポストホックな説明の妥当性を高める。 我々のアプローチはアーキテクチャや説明可能性の手法をモデル化しない。 対照的な学習にインスパイアされた新しい損失関数を用いて、標準的なクロスエントロピー損失を増大させることにより、モデルトレーニング中に有理性を導入する。 多目的最適化アルゴリズムを利用して、2つの損失関数間のトレードオフを探索し、性能と妥当性のバランスをとるモデルのパレート最適フロンティアを生成する。 多様なモデル,データセット,説明可能性メソッドを含む広範な実験を通じて,本手法は,原モデルの性能を著しく低下させることなく,モデル説明の質を著しく向上させることを示した。

関連論文リスト

• DISCO: DISCovering Overfittings as Causal Rules for Text Classification Models [6.369258625916601]
  ポストホックの解釈可能性法は、モデルの意思決定プロセスを完全に捉えるのに失敗する。 本稿では,グローバルなルールベースの説明を見つけるための新しい手法であるdisCOを紹介する。 DISCOは対話的な説明をサポートし、人間の検査者がルールベースの出力で突発的な原因を区別できるようにする。
  論文  参考訳（メタデータ） (2024-11-07T12:12:44Z)
• SynthTree: Co-supervised Local Model Synthesis for Explainable Prediction [15.832975722301011]
  本稿では,最小限の精度で説明可能性を向上させる手法を提案する。 我々は,AI技術を利用してノードを推定する新しい手法を開発した。 我々の研究は、統計的方法論が説明可能なAIを前進させる上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-16T14:43:01Z)
• CNN-based explanation ensembling for dataset, representation and explanations evaluation [1.1060425537315088]
  畳み込みモデルを用いた深層分類モデルによる説明文の要約の可能性について検討する。 実験と分析を通じて、モデル行動のより一貫性と信頼性のあるパターンを明らかにするために、説明を組み合わせることの意味を明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2024-04-16T08:39:29Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Provably Robust Model-Centric Explanations for Critical Decision-Making [14.367217955827002]
  データ中心の手法は、限られた実用性についての脆い説明をもたらす可能性がある。 しかし、モデル中心のフレームワークは、実際にAIモデルを使用するリスクに関する実用的な洞察を提供することができる。
  論文  参考訳（メタデータ） (2021-10-26T18:05:49Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。