論文の概要: Towards Human-Centred Explainability Benchmarks For Text Classification

• arxiv url: http://arxiv.org/abs/2211.05452v1
• Date: Thu, 10 Nov 2022 09:52:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 15:04:25.558528
• Title: Towards Human-Centred Explainability Benchmarks For Text Classification
• Title（参考訳）: テキスト分類の人間中心的説明可能性ベンチマークに向けて
• Authors: Viktor Schlegel, Erick Mendez-Guzman and Riza Batista-Navarro
• Abstract要約: 本稿では,テキスト分類の妥当性を評価するために,テキスト分類ベンチマークを拡張することを提案する。 有効な説明を行う能力について客観的に評価する上での課題について検討する。 我々は、これらのベンチマークを人間中心のアプリケーションに基礎を置くことを提案する。
• 参考スコア（独自算出の注目度）: 4.393754160527062
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Progress on many Natural Language Processing (NLP) tasks, such as text classification, is driven by objective, reproducible and scalable evaluation via publicly available benchmarks. However, these are not always representative of real-world scenarios where text classifiers are employed, such as sentiment analysis or misinformation detection. In this position paper, we put forward two points that aim to alleviate this problem. First, we propose to extend text classification benchmarks to evaluate the explainability of text classifiers. We review challenges associated with objectively evaluating the capabilities to produce valid explanations which leads us to the second main point: We propose to ground these benchmarks in human-centred applications, for example by using social media, gamification or to learn explainability metrics from human judgements.
• Abstract（参考訳）: テキスト分類のような多くの自然言語処理(nlp)タスクの進歩は、公開ベンチマークによる客観的、再現可能、スケーラブルな評価によって駆動される。 しかし、感情分析や誤情報検出など、テキスト分類器が使用される現実世界のシナリオを常に代表しているとは限らない。 本稿では,この問題を軽減するための2つのポイントを提示する。 まず,テキスト分類器の説明可能性を評価するために,テキスト分類ベンチマークの拡張を提案する。 私たちは、ソーシャルメディア、ゲーミフィケーション、そして人間の判断から説明可能性メトリクスを学ぶことによって、これらのベンチマークを人間中心のアプリケーションで基礎付けることを提案します。

関連論文リスト

• Evaluating Text Classification Robustness to Part-of-Speech Adversarial Examples [0.6445605125467574]
  逆の例は意思決定プロセスを騙すために設計された入力であり、人間には理解できないことを意図している。 テキストベースの分類システムでは、入力の変更(テキストの文字列)は常に認識可能である。 テキストベースの逆数例の質を向上させるためには、入力テキストのどの要素に注目する価値があるかを知る必要がある。
  論文  参考訳（メタデータ） (2024-08-15T18:33:54Z)
• DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering [95.89707479748161]
  自然言語生成タスク(NLG)の既存の評価指標は、一般化能力と解釈可能性の課題に直面している。 本稿では,NLG評価を命令型質問応答タスクとして定式化するDecompEvalというメトリクスを提案する。 本稿では,文の質を測る問合せに,文の質を問う指導スタイルの質問を分解する。 PLMが生成した回答を証拠として再検討し、評価結果を得る。
  論文  参考訳（メタデータ） (2023-07-13T16:16:51Z)
• MISMATCH: Fine-grained Evaluation of Machine-generated Text with Mismatch Error Types [68.76742370525234]
  テキスト間のきめ細かいミスマッチに基づいて、7つのNLPタスクにおける人間の判断をモデル化する新しい評価手法を提案する。 細粒度評価のためのNLPタスクの最近の取り組みに触発されて,13種類のミスマッチエラータイプを紹介した。 7つのNLPタスクから得られた有意なデータセットの文対間のミスマッチ誤差は,人間の評価とよく一致している。
  論文  参考訳（メタデータ） (2023-06-18T01:38:53Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Task-Specific Embeddings for Ante-Hoc Explainable Text Classification [6.671252951387647]
  テキストのタスク固有の埋め込みを学習する学習目標を提案する。 提案する目的は,同一のクラスラベルを共有するすべてのテキストが近接しているように埋め込みを学習することである。 本研究は, 総合的な分類精度において, アンテホックな説明可能性と漸進的な学習の利点が無コストで得られることを示す広範囲な実験である。
  論文  参考訳（メタデータ） (2022-11-30T19:56:25Z)
• Beyond the Tip of the Iceberg: Assessing Coherence of Text Classifiers [0.05857406612420462]
  大規模で事前訓練された言語モデルは、既存の言語理解タスクにおいて人間のレベルと超人的精度を達成する。 予測コヒーレンスの新しい尺度による評価システムを提案する。
  論文  参考訳（メタデータ） (2021-09-10T15:04:23Z)
• Hierarchical Bi-Directional Self-Attention Networks for Paper Review Rating Recommendation [81.55533657694016]
  本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。 具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。 我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
  論文  参考訳（メタデータ） (2020-11-02T08:07:50Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。