論文の概要: Used, Mentioned, or Condemned? A Controlled Contrast-Set Diagnostic for the Use-Mention Distinction in Code-Mixed Hinglish Misogyny Detection

• arxiv url: http://arxiv.org/abs/2609.22261v1
• Date: Sun, 06 Sep 2026 17:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.810375
• Title: Used, Mentioned, or Condemned? A Controlled Contrast-Set Diagnostic for the Use-Mention Distinction in Code-Mixed Hinglish Misogyny Detection
• Title（参考訳）: Code-Mixed Hinglish Misogyny 検出におけるMention Distinction の制御されたコントラストセット診断
• Abstract要約: 我々はこの問題をコードミキシングされたヒングリッシュで研究する。 Hinglish-MGY-Diag, 決定論的ジェネレータ, 416-item/163-minimal-pair コントラストセット診断を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lexicon-driven misogyny detectors cannot, by construction, distinguish a slur used against a woman from the same slur mentioned in counter-speech ("don't call her that") -- yet exactly this distinction governs whether moderation protects or silences the people discussing abuse. We study this problem in code-mixed Hinglish and make three contributions. First, we diagnose two evaluation artifacts on a publicly available redacted corpus: category-encoding anonymization placeholders leak the label (a no-learning rule scores 1.000), and even after they are neutralized misogynistic and benign comments occupy lexically disjoint registers, so bag-of-words reaches macro-F1 approximately 1.00 under random cross-validation but collapses under template-disjoint evaluation. Second, we release Hinglish-MGY-Diag, a deterministic generator and a 416-item / 163-minimal-pair contrast-set diagnostic across five linguistically motivated categories in which slur presence and gendered register are decorrelated from the label by construction. Third, we introduce a strict pair-consistency metric that credits a model only when both members of a minimal pair are correctly labelled. Five from-scratch classical baselines evaluated under construction-disjoint five-fold cross-validation reveal that the strongest model reaches 0.93 accuracy on the cleanest use-mention subset but only 0.82 consistency -- it still mislabels roughly one counter-speech pair in five. A frontier LLM used as an author-model ceiling attains 1.000 on all metrics, doubling as independent label validation and confirming the benchmark is a capability gradient rather than an adversarial wall. We release all code, data, the generator, and an arms-length LLM harness for reproducing every number.
• Abstract（参考訳）: ルキシコン駆動のミソジニー検知器は、建設によって、カウンター・スピークで言及されている同じスラーから女性に対するスラーを区別することはできない("Don't call her")が、この区別は正確には、モデレーションが虐待を議論する人々を保護または沈黙させるかどうかを規定している。 コードを混合したHinglishでこの問題を研究し、3つのコントリビューションを行う。 カテゴリエンコーディングの匿名化プレースホルダーはラベルをリークし(非学習ルールスコア1.000)、中和された偽造語や良心的なコメントが語彙的に非結合なレジスタを占有している場合でも、バッグ・オブ・ワードはランダムなクロスバリデーションの下で約1.00のマクロF1に達するが、テンプレート・ディスジョイント評価では崩壊する。 次に,Hinglish-MGY-Diagと416-item/163-minimal-pair contrast-setを言語的に動機づけられた5つのカテゴリーに分けて,スラーの存在と性別レジスターがラベルから脱相関している。 第3に、最小ペアの双方のメンバが正しくラベル付けされた場合にのみ、モデルを信用する厳密なペア一貫性メトリックを導入する。 5倍のクロスバリデーションで評価された5つの古典的ベースラインは、最強のモデルは最もクリーンな使用量サブセットで0.93の精度に達するが、一貫性はわずか0.82であることを示している。 著者モデル天井として使用されるフロンティアLCMは、すべてのメトリクスで1.000に達し、独立ラベル検証として倍増し、ベンチマークが敵の壁ではなく能力勾配であることを確認した。 すべてのコード、データ、ジェネレータ、そしてすべての数値を再生するためのアーム長のLLMハーネスをリリースします。

関連論文リスト

• PRIMUS: Identity, Governance, and Verification for Multi-Agent Federations [0.0]
  マルチエージェント・フェデレーションは、敵対的な条件下での3つの質問に答えるガバナンスを必要とする。 本稿では,BLSアグリゲートシグネチャと主パワーIDを結合したPRIMUSについて述べる。 PRIMAのバイナリアーティファクト-忠実性判定は、グレード付きフィットネス信号に変換できるかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-07T19:21:49Z)
• Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation [0.0]
  ベンチマークスコアは、モデルのジョイント特性、評価ハーネス、エレケーション予算、サンプル集団、汚染状態である。 我々は,各タイプの敗北の緩和によって組織された分類を紹介した。 2つの変数は、予め登録された有病率-ロバスト閾値を下回る。
  論文  参考訳（メタデータ） (2026-08-29T23:04:09Z)
• HALLMARK: Diagnosing Three Failure Modes in LLM Citation Verifiers [30.02579334273979]
  GPTZeroは、NeurIPS 2025の受け入れられたセットの中で、幻覚的な引用を持つ53の論文を発見した。 検証結果を比較し、詳細な故障診断を行うベンチマークは存在しない。 幻覚ベンチマーク: 14のタイプにまたがる2,526のBibエントリ、3つの困難層、エントリ毎に6つの診断サブテスト。
  論文  参考訳（メタデータ） (2026-07-20T13:21:27Z)
• PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
  PerceptionRubricsはルーブリックベースの評価フレームワークである。 飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。 1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
  論文  参考訳（メタデータ） (2026-06-26T17:59:15Z)
• AgentFairBench: Do LLM Agents Discriminate When They Act? [2.3004655342211078]
  AgentFairBenchは、LLMエージェントの動作における人口格差に対する、安価で再現可能なマルチドメインベンチマークである。 これは、雇用、貸与、医療トリアージという、規制対象の3つの領域にまたがっている。 NumPyのみのハーネスは、反ファクト的なフリップ率、平均絶対スコア差(MASD)、アクションレートの相違、ツール起動の相違を計算する。
  論文  参考訳（メタデータ） (2026-06-15T13:50:26Z)
• Concept-Guided Noisy Negative Suppression for Zero-Shot Classification and Grounding of Chest X-Ray Findings [24.28276094444468]
  胸部X線と放射線学報告を用いた視覚言語アライメントは、ゼロショット分類とグラウンド化の高度なパラダイムとして登場した。 標準的なコントラスト学習は、通常、異なる患者からのX線写真とレポートを単に負のペアとして扱う。 我々は,概念誘導雑音抑圧フレームワークであるCNNSを提案する。
  論文  参考訳（メタデータ） (2026-05-19T05:19:45Z)
• Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
  アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。 LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か? 277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
  論文  参考訳（メタデータ） (2026-04-15T14:10:58Z)
• Appeal: Allow Mislabeled Samples the Chance to be Rectified in Partial Label Learning [55.4510979153023]
  部分ラベル学習(PLL)では、各インスタンスは候補ラベルのセットに関連付けられ、そのうち1つだけが接地真実である。 誤記されたサンプルの「アペアル」を支援するため,最初の魅力に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T09:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。