論文の概要: Interpretation Quality Score for Measuring the Quality of interpretability methods

• arxiv url: http://arxiv.org/abs/2205.12254v1
• Date: Tue, 24 May 2022 17:57:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 12:55:53.845886
• Title: Interpretation Quality Score for Measuring the Quality of interpretability methods
• Title（参考訳）: 解釈可能性評価のための解釈品質スコア
• Authors: Yuansheng Xie, Soroush Vosoughi, Saeed Hassanpour
• Abstract要約: 現在、解釈可能性法による説明の質を評価するための広く受け入れられた計量は存在しない。 本稿では,解釈可能性法による説明の質を定量化するための新しい指標を提案する。 6つの解釈可能性法を用いて3つのNLPタスクのメトリクスを計算し,その結果を示す。
• 参考スコア（独自算出の注目度）: 12.659475399995717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) models have been applied to a wide range of natural language processing (NLP) tasks in recent years. In addition to making accurate decisions, the necessity of understanding how models make their decisions has become apparent in many applications. To that end, many interpretability methods that help explain the decision processes of ML models have been developed. Yet, there currently exists no widely-accepted metric to evaluate the quality of explanations generated by these methods. As a result, there currently is no standard way of measuring to what degree an interpretability method achieves an intended objective. Moreover, there is no accepted standard of performance by which we can compare and rank the current existing interpretability methods. In this paper, we propose a novel metric for quantifying the quality of explanations generated by interpretability methods. We compute the metric on three NLP tasks using six interpretability methods and present our results.
• Abstract（参考訳）: 近年,機械学習(ML)モデルが自然言語処理(NLP)タスクに応用されている。 正確な決定を行うことに加えて、モデルがどのように意思決定するかを理解する必要性が多くのアプリケーションで明らかになっている。 そのため、MLモデルの決定過程を説明するための多くの解釈可能性手法が開発されている。 しかし、これらの手法によって生成された説明の質を評価するための広く受け入れられた計量は存在しない。 その結果、現在、解釈可能性法が意図した目的を達成する度合いを測る標準的な方法は存在しない。 さらに、既存の解釈可能性法を比較しランク付けできる性能基準は認められていない。 本稿では,解釈可能性法による説明の質を定量化する手法を提案する。 6つの解釈可能性法を用いて3つのNLPタスクのメトリクスを計算し,その結果を示す。

関連論文リスト

• BEExAI: Benchmark to Evaluate Explainable AI [0.9176056742068812]
  本稿では,ポストホックXAI手法の大規模比較を可能にするベンチマークツールであるBEExAIを提案する。 説明の質と正確性を測定するための信頼性の高い方法の必要性が重要になっていると論じる。
  論文  参考訳（メタデータ） (2024-07-29T11:21:17Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
  我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。 異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。 評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2023-10-24T12:18:17Z)
• A global analysis of metrics used for measuring performance in natural language processing [9.433496814327086]
  自然言語処理の性能測定に使用されるメトリクスの,最初の大規模断面積解析を行う。 結果から,現在使用されている自然言語処理メトリクスの大部分は,モデルの性能を不適切に反映する特性を持っていることが示唆された。
  論文  参考訳（メタデータ） (2022-04-25T11:41:50Z)
• On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness, and Semantic Evaluation [23.72825603188359]
  我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。 本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
  論文  参考訳（メタデータ） (2021-06-09T00:49:56Z)
• On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
  ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。 これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。 これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
  論文  参考訳（メタデータ） (2021-04-18T09:19:44Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• On quantitative aspects of model interpretability [0.0]
  これらの次元に沿った手法は、2つの概念的部分、すなわち抽出器と実際の説明可能性法に含めることができると論じる。 異なるベンチマークタスクのメトリクスを実験的に検証し、そのタスクに最も適したメソッドの選択において、実践者の指導にどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-07-15T10:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。