論文の概要: Same Sentence, Different Construct: Identity-Swapped Rationales Reveal Measurement Non-Invariance in LLM Hate Speech Classifiers

• arxiv url: http://arxiv.org/abs/2611.02491v1
• Date: Mon, 02 Nov 2026 04:06:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.562101
• Title: Same Sentence, Different Construct: Identity-Swapped Rationales Reveal Measurement Non-Invariance in LLM Hate Speech Classifiers
• Title（参考訳）: 同一文, 異なる構成: LLM のHate 音声分類器における非不変性の測定
• Abstract要約: 大規模言語モデルは、ヘイトスピーチのような社会的に連続した構成要素の計測手段として、ますます使われてきている。 有効な楽器は、測定するすべてのグループに同じ構成を適用しなければならない。 この要件を、7つの保護されたグループに対して同一にインスタンス化される421 hcテンプレートを用いて検証する。
• 参考スコア（独自算出の注目度）: 22.014571549432006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly used as measurement instruments for socially consequential constructs such as hate speech, and are typically validated by their aggregate agreement with human labels. A valid instrument must also apply the same construct to every group it measures. We test this requirement using 421 \hc{} templates that are instantiated identically for seven protected groups, so that only the identity term varies. Four LLM classifiers each exceed 0.95 balanced accuracy, yet within identical templates two of them miss hateful statements about women at markedly higher rates than the same statements about other groups (excess false-negative rates of 8.3 and 4.4 percentage points), a gap first reported for fine-tuned classifiers in 2021. We show how the construct shifts. Comparing rationales within each template, we find that models invoke protected-group status for other groups but recast the identical statement about women as personal dislike or as aimed at an individual, in 22 of 30 missed templates for one model. Adding the benchmark's own definition, which lists sex as a protected characteristic, does not close the gap, and the contrast persists. Apparent false-positive disparities, by contrast, largely vanish under identity control and trace to reclaimed slurs present only for some groups. Errors shared by all models concentrate where model and benchmark definitions diverge, and pairwise counterfactual accuracy adds little beyond endpoint accuracy. We argue that validating LLM measurement requires identity-controlled tests of measurement invariance that examine both decisions and the criteria models state for them.
• Abstract（参考訳）: 大規模な言語モデルは、ヘイトスピーチのような社会的に連続した構成物の計測手段としてますます使われ、一般的には人間のラベルとの集合的合意によって検証される。 有効な楽器は、測定するすべてのグループに同じ構成を適用しなければならない。 我々は、この要件を、7つの保護群に対して同一にインスタンス化される421 \hc{}テンプレートを用いてテストする。 4つのLDM分類器は、それぞれ0.95のバランスの取れた精度を超えるが、2つの同一テンプレート内では、他のグループに関する同じ声明(偽陰性率8.3と4.4のポイント)よりも明らかに高い率で、女性に関する憎悪的な発言を見逃している。 構造がどのように変化するかを示す。 各テンプレートの合理性を比較すると、モデルが他のグループに対して保護グループ状態を呼び起こすのに対し、女性は個人的嫌悪、あるいは個人を対象とする同一の声明を、1つのモデルに対して欠落した30のテンプレートのうち22で再放送することがわかった。 セックスを保護された特徴としてリストアップするベンチマーク独自の定義を追加することは、ギャップを埋めるものではなく、コントラストが持続する。 対照的に、明らかな偽陽性の相違は、アイデンティティコントロールの下でほとんど消失し、一部のグループにのみ存在する再生スラリーに痕跡がある。 すべてのモデルで共有されるエラーは、モデル定義とベンチマーク定義が分岐する場所に集中し、ペアの対実精度はエンドポイントの精度を超えるものはほとんどありません。 我々は, LLM 測定の検証には, 判定と基準モデルの両方を検査する等式制御された測定不変性の試験が必要であると論じる。

関連論文リスト

• MARS: Malware Analysis with Rule-Based Scoring of LLM Claims [0.08460698440162889]
  大規模な言語モデルでは、外部ポリシーによる直接的な判断や行動的クレームを通じてマルウェアをトリアージすることができる。 マルウェアトリアージフレームワークであるMARSについて,直接分類とシングルパスクレームスコアを比較した。 我々は、アーカイブされた評定を正確に再現し、修正されたポリシーを同じレコードに適用し、提供者によって取り下げられた2つの追加モデルの出力を含む。
  論文  参考訳（メタデータ） (2026-10-07T06:55:35Z)
• Used, Mentioned, or Condemned? A Controlled Contrast-Set Diagnostic for the Use-Mention Distinction in Code-Mixed Hinglish Misogyny Detection [0.0]
  我々はこの問題をコードミキシングされたヒングリッシュで研究する。 Hinglish-MGY-Diag, 決定論的ジェネレータ, 416-item/163-minimal-pair コントラストセット診断を行う。
  論文  参考訳（メタデータ） (2026-09-06T17:45:59Z)
• Beyond Value Benchmarks: Measuring Value-Structure Alignment in Large Language Models via Symmetric Q-Sorts [47.02978329409663]
  そこで本研究では,Q手法に基づく対称型人間-LLM評価フレームワークを提案する。 私たちのプロトコルでは、人間とモデルは同一の140項目の道徳的ステートメントを、共有された9カラムの強制分布に分類します。 240個の複製されたQ-sortを2つの温度設定で4つのモデルファミリーにまたがる12個のLLMを評価した。
  論文  参考訳（メタデータ） (2026-06-20T08:15:41Z)
• AgentFairBench: Do LLM Agents Discriminate When They Act? [2.3004655342211078]
  AgentFairBenchは、LLMエージェントの動作における人口格差に対する、安価で再現可能なマルチドメインベンチマークである。 これは、雇用、貸与、医療トリアージという、規制対象の3つの領域にまたがっている。 NumPyのみのハーネスは、反ファクト的なフリップ率、平均絶対スコア差(MASD)、アクションレートの相違、ツール起動の相違を計算する。
  論文  参考訳（メタデータ） (2026-06-15T13:50:26Z)
• SCOPE: A Dataset of Stereotyped Prompts for Counterfactual Fairness Assessment of LLMs [45.94124349318317]
  SCOPEは241,280のプロンプトを120,640の対物対にまとめている。 このリソースは、公正性、堅牢性、および反事実整合性を評価するために、制御され、セマンティックに整合し、意図を意識した基盤を提供する。
  論文  参考訳（メタデータ） (2026-04-07T07:56:26Z)
• CALM : A Multi-task Benchmark for Comprehensive Assessment of Language Model Bias [7.28980829208179]
  言語モデル(CALM)の包括的評価は、普遍的に関連する2種類の社会デマログラフバイアス、性別、人種の頑健な測定である。 実験により,CALMのバイアススコアは,テンプレートの摂動に対する従来のバイアス測定よりも頑健で,はるかに感度が低いことが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:53:55Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of Faithfulness Metrics [70.52570641514146]
  不誠実な最小対 (BUMP) のベンチマークを示す。 BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。 非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:17:30Z)
• Quantifying Social Biases Using Templates is Unreliable [41.56949396496272]
  ベンチマークに使用するテンプレートの選択にバイアス測定が敏感かどうかを検討する。 バイアス値と結果の結論は4つのタスクのテンプレート修正によって大きく異なることがわかった。
  論文  参考訳（メタデータ） (2022-10-09T20:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。