論文の概要: Confident, Calibrated, or Complicit: Probing the Trade-offs between Safety Alignment and Ideological Bias in Language Models in Detecting Hate Speech

• arxiv url: http://arxiv.org/abs/2509.00673v1
• Date: Sun, 31 Aug 2025 03:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.334677
• Title: Confident, Calibrated, or Complicit: Probing the Trade-offs between Safety Alignment and Ideological Bias in Language Models in Detecting Hate Speech
• Title（参考訳）: ヘイトスピーチ検出における言語モデルにおける安全アライメントとイデオロギーバイアスのトレードオフの検証
• Authors: Sanjeeevan Selvaganapathy, Mehwish Nasim,
• Abstract要約: 暗黙的・明示的なヘイトスピーチの検出におけるLarge Language Models (LLMs) の有効性を検討した。 検閲されたモデルは、精度と堅牢性の両方において、検閲されていないモデルよりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 0.916708284510944
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We investigate the efficacy of Large Language Models (LLMs) in detecting implicit and explicit hate speech, examining whether models with minimal safety alignment (uncensored) might provide more objective classification capabilities compared to their heavily-aligned (censored) counterparts. While uncensored models theoretically offer a less constrained perspective free from moral guardrails that could bias classification decisions, our results reveal a surprising trade-off: censored models significantly outperform their uncensored counterparts in both accuracy and robustness, achieving 78.7% versus 64.1% strict accuracy. However, this enhanced performance comes with its own limitation -- the safety alignment acts as a strong ideological anchor, making censored models resistant to persona-based influence, while uncensored models prove highly malleable to ideological framing. Furthermore, we identify critical failures across all models in understanding nuanced language such as irony. We also find alarming fairness disparities in performance across different targeted groups and systemic overconfidence that renders self-reported certainty unreliable. These findings challenge the notion of LLMs as objective arbiters and highlight the need for more sophisticated auditing frameworks that account for fairness, calibration, and ideological consistency.
• Abstract（参考訳）: 暗黙的かつ明示的なヘイトスピーチの検出におけるLarge Language Models (LLMs) の有効性を検討した。 検閲されたモデルは、精度と堅牢性の両方において、検閲されていないモデルを著しく上回っており、精度が78.7%対64.1%である。 安全アライメントは強力なイデオロギー的アンカーとして機能し、検閲されたモデルはペルソナの影響に抵抗する一方、検閲されていないモデルはイデオロギー的フレーミングに非常に適応可能である。 さらに、Ironyのようなニュアンス言語を理解する上で、すべてのモデルにまたがる致命的な失敗を識別する。 また、異なる対象グループにおけるパフォーマンスの公平性や、自己報告された確実性を信頼できないようなシステム的過信にも注意を払っています。 これらの知見は、LLMを客観的アービターとしての概念に挑戦し、公平性、校正、イデオロギーの整合性を考慮したより洗練された監査フレームワークの必要性を強調した。

関連論文リスト

• Confidential Guardian: Cryptographically Prohibiting the Abuse of Model Abstention [65.47632669243657]
  不正直な機関は、不確実性の観点からサービスを差別または不正に否定する機構を利用することができる。 我々は、ミラージュと呼ばれる不確実性誘導攻撃を導入することで、この脅威の実践性を実証する。 本研究では,参照データセット上のキャリブレーションメトリクスを分析し,人工的に抑制された信頼度を検出するフレームワークであるConfidential Guardianを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:47:50Z)
• Language Models That Walk the Talk: A Framework for Formal Fairness Certificates [6.5301153208275675]
  本研究は,トランスフォーマーに基づく言語モデルの堅牢性を証明するための総合的検証フレームワークを提案する。 我々は、性別に関する用語によって男女の公平さと一貫したアウトプットを確保することに重点を置いている。 我々は、この手法を毒性検出に拡張し、敵に操作された有害な入力が一貫して検出され、適切に検閲されるという正式な保証を提供する。
  論文  参考訳（メタデータ） (2025-05-19T06:46:17Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [51.51850981481236]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
  マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました 埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。 提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
  論文  参考訳（メタデータ） (2024-11-21T09:46:55Z)
• Covert Bias: The Severity of Social Views' Unalignment in Language Models Towards Implicit and Explicit Opinion [0.40964539027092917]
  過度なバイアスシナリオのエッジケースにおけるバイアスモデルを用いて、ビューに対するバイアスの重症度を評価する。 以上の結果から,暗黙的・明示的な意見の識別において,LLM 性能の相違が明らかとなり,反対意見の明示的な意見に対する偏見の傾向が一般的であった。 非整合モデルの直接的な不注意な反応は、決定性のさらなる洗練の必要性を示唆している。
  論文  参考訳（メタデータ） (2024-08-15T15:23:00Z)
• Don't Go To Extremes: Revealing the Excessive Sensitivity and Calibration Limitations of LLMs in Implicit Hate Speech Detection [29.138463029748547]
  本稿では,暗黙のヘイトスピーチを検出し,その応答に自信を表現できる大規模言語モデルを提案する。 1) LLMは, 公平性問題を引き起こす可能性のあるグループやトピックに対して過度な感受性を示し, ヘイトスピーチとして良心的発言を誤分類する。
  論文  参考訳（メタデータ） (2024-02-18T00:04:40Z)
• Characterizing the adversarial vulnerability of speech self-supervised learning [95.03389072594243]
  我々は,ゼロ知識とリミテッド知識の両方の敵からの攻撃の下で,そのようなパラダイムの敵対的脆弱性を調査するための最初の試みを行う。 実験結果から, SUPERB が提案するパラダイムは, 限られた知識を持つ敵に対して脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-08T08:44:04Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。