論文の概要: Disagreeing Rationales: Rethinking Classification and Explainability Evaluation in Hate Speech Detection
- arxiv url: http://arxiv.org/abs/2605.31563v1
- Date: Fri, 29 May 2026 17:29:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.772977
- Title: Disagreeing Rationales: Rethinking Classification and Explainability Evaluation in Hate Speech Detection
- Title（参考訳）: 診断基準:ヘイトスピーチ検出における分類と説明可能性評価の再考
- Abstract要約: 多様なモデル、トレーニング戦略、損失関数、評価指標を単一のプロトコルで統一する。
分類および説明可能性指標間のモデル行動を評価するとともに,ラベルの選択に対する指標感度を評価する。
結果は、硬度と軟度の両方が、より柔らかい表現を好むことを示している。
- 参考スコア（独自算出の注目度）: 31.767606394291857
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human disagreement is ubiquitous and well-known in labeling. However, variation in explanations, captured through token-level human rationales, remains far less explored. At the same time, it is unclear how to best evaluate human labels and rationales -- or even how to best aggregate rationales beyond majority vote -- in light of this variation. Yet, rationales may provide additional insights into the richness of human reasoning, that may differ in style, values and interpretations -- especially in subjective NLP tasks like hate speech detection. In this work, we unify diverse models, training strategies, loss functions, and existing evaluation metrics under a single protocol by systematically re-implementing them across different label and rationale representation spaces. Classification metrics are organized around two key properties -- predictive and distributional -- while explainability metrics through three complementary dimensions: plausibility, faithfulness, and complexity. In this unified supervision framework, we evaluate model behavior across classification and explainability metrics, as well as metric sensitivity to the choice of label (hard and soft) and rationale representation space (hard, intermediate and soft). Results show that both hard and soft metrics favor softer representations, highlighting their effectiveness in capturing variation and the need to rethink evaluation in subjective NLP.
- Abstract（参考訳）: 人間の不一致はユビキタスであり、ラベル付けでよく知られている。
しかし、トークンレベルの人間の合理性を通して捉えられた説明のバリエーションは、いまだに調査されていない。
同時に、この変動を踏まえて、人間のラベルや合理性(多数決以上の合理性)をどのようにベストに評価するかは、はっきりしていない。
しかし、論理学は人間の推論の豊かさに関するさらなる洞察を与え、それはスタイル、価値観、解釈において異なる可能性がある。
本研究では,多種多様なモデル,学習戦略,損失関数,既存の評価指標を単一のプロトコルで統一し,異なるラベルと合理性表現空間を体系的に再実装する。
分類基準は、予測と分布という2つの重要な特性に基づいて構成されるが、説明可能性指標は、妥当性、忠実性、複雑さの3つの相補的な側面によって構成される。
本フレームワークでは,分類および説明可能性指標間のモデル行動を評価するとともに,ラベル(硬度,軟度)と有理表現空間(硬度,中度,軟度)の選択に対する計量感度を評価する。
その結果、ハードとソフトの両指標は、よりソフトな表現を好み、変動を捉えた効果と、主観的NLPにおける評価を再考する必要性を強調した。
関連論文リスト
- Quality and Agreement in Multilabel Emotion Annotation: A Case Study and Evaluation Framework [0.042970700836450486]
マルチラベル感情アノテーションのケーススタディを提案する。
本稿では,アノテータの行動とアグリゲーションの選択が,合意推定と下流感情分類にどのように影響するかを検討する。
本研究は,マルチラベル感情データセットの設計,集約,評価のための実践的ガイダンスを提供する。
論文 参考訳（メタデータ） (2026-06-19T03:36:05Z) - Evaluating the Evaluator: Problems with SemEval-2020 Task 1 for Lexical Semantic Change Detection [1.1340133299604382]
語彙意味変化検出のための最も影響力のあるベンチマークであるSemEval-2020 Task 1を再検討する。
ベンチマークは、かなりのコーパスと前処理の問題に影響されていることを示す。
我々は、限定言語の範囲が限定された小さな目標セットは現実主義を減らし、統計的不確実性を増大させると主張している。
論文 参考訳（メタデータ） (2026-04-14T19:01:25Z) - Extending Minimal Pairs with Ordinal Surprisal Curves and Entropy Across Applied Domains [0.0]
本研究は,二項文法から順序スケールの分類とスコアリングタスクまで,素性に基づく評価を拡張した。
モデルに回答を求めるのではなく、情報理論の「サプライズ」を測る。
この枠組みは, 社会・生態・技術系の分類, 因果文の識別(バイナリとスケール), 図形言語検出, 帰納的定性的符号化の4分野にまたがる。
論文 参考訳（メタデータ） (2026-03-15T14:31:00Z) - Learning from Sufficient Rationales: Analysing the Relationship Between Explanation Faithfulness and Token-level Regularisation Strategies [5.225254533678075]
モデル性能に及ぼす理性情報の影響について検討する。
非常に有意義な合理性は、インスタンスを正しく分類するのに役立ちそうにない。
また、モデル入力に合理的情報を組み込むことで、ドメイン間の分類が促進されるが、タスクごとに結果が矛盾していることが判明した。
論文 参考訳（メタデータ） (2025-11-20T13:39:20Z) - MoVa: Towards Generalizable Classification of Human Morals and Values [57.93595662296688]
MoVaは、人間の道徳と価値観の一般化可能な分類のための、文書化されたリソーススイートである。
MoVaのデータと手法は、人間と機械のコミュニケーションを細かく解釈するのに役立つ。
論文 参考訳（メタデータ） (2025-09-29T02:56:27Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - How are Prompts Different in Terms of Sensitivity? [50.67313477651395]
本稿では,関数の感度に基づく包括的即時解析を提案する。
出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。
本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
論文 参考訳（メタデータ） (2023-11-13T10:52:01Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z) - Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。
論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。
本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
論文 参考訳（メタデータ） (2023-05-19T08:22:23Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳（メタデータ） (2022-03-16T15:00:33Z) - Estimating the Uncertainty in Emotion Class Labels with
Utterance-Specific Dirichlet Priors [24.365876333182207]
本稿では,発話ごとのディリクレの事前分布に基づく新たな訓練損失を提案する。
ラベル付けの不確かさの高い試験発話を検出することで、さらなる測定値を用いて性能を評価する。
広く使われているIEMOCAPデータセットによる実験は、2分岐構造が最先端の分類結果を達成することを示した。
論文 参考訳（メタデータ） (2022-03-08T23:30:01Z) - SMURF: SeMantic and linguistic UndeRstanding Fusion for Caption
Evaluation via Typicality Analysis [20.026835809227283]
情報理論に根ざした評価の新しい定式化である「定型性」を導入する。
これらの分割された意味論と流布の次元が、キャプタの違いに関するシステムレベルの洞察をいかに与えているかを示す。
提案手法とそれらの組み合わせであるSMURFは,他のルールベース評価指標と比較した場合,人間の判断と最先端の相関が得られた。
論文 参考訳（メタデータ） (2021-06-02T19:58:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。