論文の概要: Measuring and Mitigating Toxicity in Large Language Models: A Comprehensive Replication Study

• arxiv url: http://arxiv.org/abs/2605.14087v2
• Date: Fri, 15 May 2026 01:03:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:25.974623
• Title: Measuring and Mitigating Toxicity in Large Language Models: A Comprehensive Replication Study
• Title（参考訳）: 大規模言語モデルにおける毒性の測定と緩和に関する研究
• Authors: Mokshit Surana, Archit Rathod, Akshaj Satishkumar,
• Abstract要約: Webスケールコーパスでトレーニングされた大規模言語モデル(LLM)は、本質的にトレーニングデータから有害なパターンを吸収する。 復号時間エキスパート(Decoding-time Experts, DExperts)は、モデルの再訓練を必要とせずに生成を行う推論時間緩和手法である。 この研究は、明示的な毒性軽減と暗黙的な毒性軽減のギャップを強調することで、AI安全性に関する研究の活発化に寄与する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) trained on web-scale corpora inherently absorb toxic patterns from their training data. This leads to toxic degeneration where even innocuous prompts can trigger harmful outputs. This phenomenon poses significant risks for real-world deployments. Thus, necessitating effective mitigation strategies that should maintain model utility while ensuring safety. In this comprehensive replication study, we evaluate the efficacy of DExperts (Decoding-time Experts), which is an inference-time mitigation technique that steers generation without requiring model retraining. We structured our research into three systematic phases: (1) establishing baseline toxicity measurements using RealToxicityPrompts on standard GPT-2 models; then (2) implementing and evaluating DExperts to mitigate explicit toxicity; and finally (3) stress-testing the method against implicit hate speech using the adversarial ToxiGen dataset. Our empirical results confirm that while DExperts achieves near-perfect safety rates (100%) on explicit toxicity benchmarks, it exhibits brittleness against adversarial, implicit hate speech, with safety rates dropping to 98.5%. Furthermore, we quantify a critical trade-off. The method introduces a 10x latency penalty (from 0.2s to 2.0s per generation), posing challenges for real-time deployment scenarios. This study contributes to the growing body of work on AI safety by highlighting the robustness gap between explicit and implicit toxicity mitigation. We emphasize the need for more sophisticated approaches that generalize across diverse hate-speech patterns without incurring prohibitive computational costs.
• Abstract（参考訳）: Webスケールコーパスでトレーニングされた大規模言語モデル(LLM)は、本質的にトレーニングデータから有害なパターンを吸収する。 これは、有害なプロンプトでさえ有害な出力を誘発する有毒な変性を引き起こす。 この現象は現実世界の展開に重大なリスクをもたらす。 したがって、安全性を確保しつつ、実用性をモデル化する効果的な緩和戦略が必要である。 本研究では,モデル再学習を必要とせずに生成する推論時間緩和手法であるDExperts (Decoding-time Experts)の有効性を評価する。 本研究は,(1)標準GPT-2モデル上でのRealToxicityPromptを用いたベースライン毒性測定の確立,(2)明示的毒性を緩和するためのDExpertの実装と評価,(3)敵対的ToxiGenデータセットを用いた暗黙的ヘイトスピーチに対するストレステストの3段階に構成した。 我々の経験的結果は、DExpertsが明示的な毒性ベンチマークでほぼ完全な安全率(100%)を達成する一方で、敵対的で暗黙のヘイトスピーチに対する脆さを示し、安全性率は98.5%に低下していることを確認した。 さらに、重要なトレードオフを定量化します。 このメソッドは10倍のレイテンシペナルティ(世代毎に0.2から2.0まで)を導入し、リアルタイムデプロイメントシナリオの課題を提起する。 この研究は、明示的な毒性軽減と暗黙的な毒性軽減の堅牢性ギャップを強調することによって、AI安全性に関する研究の活発化に寄与する。 我々は,禁止的な計算コストを発生させることなく,多様なヘイトスピーチパターンを一般化する,より高度なアプローチの必要性を強調した。

関連論文リスト

• Detoxification for LLM: From Dataset Itself [69.09071947137926]
  既存の大規模言語モデルの解毒方法は、主に訓練後の段階や推論時間に焦点をあてるが、データセット自体の毒性の源となるものはほとんどない。 SoCD(Soft Contrastive Decoding:ソフトコントラストデコーディング)で生のコーパスを直接デトックス化しようと試み,LLMが生データの有害なスパンを局所化し書き直ししし,セマンティクスを保存しながら誘導する。 GPT2-XLでは、HSPDは最先端の解毒を達成し、毒性確率(TP)を0.42から0.18に、最大毒性(EMT)を0.43から0.20に減少させる。
  論文  参考訳（メタデータ） (2026-04-21T06:12:29Z)
• Do Prompts Guarantee Safety? Mitigating Toxicity from LLM Generations through Subspace Intervention [6.808534332444413]
  大きな言語モデル(LLM)は強力なテキストジェネレータである。 LLMは、一見無害なプロンプトが与えられたとしても、有害または有害な内容物を生成することができる。 これは深刻な安全性の課題であり、現実世界に害を与える可能性がある。
  論文  参考訳（メタデータ） (2026-02-06T11:33:17Z)
• Cleansing the Artificial Mind: A Self-Reflective Detoxification Framework for Large Language Models [14.566005698357747]
  大言語モデル(LLM)は、顕著な生成能力と自己調節機構の出現を明らかにしている。 我々は, LLMの本来の能力を利用して, 有害な内容を検出する, 完全自己反射脱毒フレームワークを導入する。 我々の発見は、真の自己統制型言語モデルの可能性を強調し、より責任と倫理的に導かれたテキスト生成システムへの道を開いた。
  論文  参考訳（メタデータ） (2026-01-16T21:01:26Z)
• Associative Poisoning to Generative Machine Learning [5.094623170336122]
  我々は連想中毒と呼ばれる新しいデータ中毒技術を紹介した。 トレーニングプロセスの制御を必要とせずに、生成されたデータのきめ細かい特徴を損なう。 この攻撃は、生成された出力中の特定の特徴ペア間の統計的関連を操作するためのトレーニングデータのみを摂動する。
  論文  参考訳（メタデータ） (2025-11-07T11:47:33Z)
• Detoxifying Large Language Models via Autoregressive Reward Guided Representation Editing [77.75609817898035]
  大規模言語モデル(LLM)は、様々なタスクにわたって印象的なパフォーマンスを示してきたが、有害なコンテンツの生成には弱いままである。 textscAutoregressive textscReward textscGuided textscRe presentation textscEditing (ARGRE)を提案する。 ARGREは遅延表現空間内の毒性遷移を明示的にモデル化し、安定かつ正確な報酬誘導編集を可能にする。
  論文  参考訳（メタデータ） (2025-09-24T03:40:32Z)
• LoGU: Long-form Generation with Uncertainty Expressions [49.76417603761989]
  不確実性を伴う長文生成(LoGU)の課題について紹介する。 不確実性抑制と不確実性誤認の2つの主要な課題を特定します。 当社のフレームワークでは,原子的クレームに基づく不確実性を改善するため,分割・分散戦略を採用している。 提案手法が精度を向上し,幻覚を低減し,応答の包括性を維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-18T09:15:35Z)
• Contrastive Perplexity for Controlled Generation: An Application in Detoxifying Large Language Models [21.341749351654453]
  大規模言語モデル(LLM)による有害なコンテンツの生成は、言語技術の安全なデプロイにおいて重要な課題である。 プロトタイプに基づくコントラッシブ・パープレキシティを目標とした微調整 LLM による暗黙的知識編集とテキスト生成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-16T16:49:39Z)
• On Practical Aspects of Aggregation Defenses against Data Poisoning Attacks [58.718697580177356]
  悪意のあるトレーニングサンプルを持つディープラーニングモデルに対する攻撃は、データ中毒として知られている。 データ中毒に対する防衛戦略の最近の進歩は、認証された毒性の堅牢性を達成するためのアグリゲーション・スキームの有効性を強調している。 ここでは、Deep Partition Aggregation(ディープ・パーティション・アグリゲーション・アグリゲーション)、代表的アグリゲーション・ディフェンス(アグリゲーション・ディフェンス)に焦点を当て、効率、性能、堅牢性など、その実践的側面を評価する。
  論文  参考訳（メタデータ） (2023-06-28T17:59:35Z)
• Adding Instructions during Pretraining: Effective Way of Controlling Toxicity in Language Models [29.505176809305095]
  本稿では,その実用性を損なうことなく,モデル毒性を大幅に低減する2つの新しい事前学習データ拡張戦略を提案する。 この2つの戦略は,(1)MEDA:メタデータとして生毒性スコアを付加し,(2)INST:それらの毒性を示すサンプルに指示を加えることである。 以上の結果から,最も優れた性能戦略(INST)は,5つのベンチマークNLPタスクの精度を維持しつつ,毒性の確率を61%まで大幅に低下させることが示唆された。
  論文  参考訳（メタデータ） (2023-02-14T23:00:42Z)
• Constructing Highly Inductive Contexts for Dialogue Safety through Controllable Reverse Generation [65.48908724440047]
  そこで本稿では,ある応答に条件付けされた逆コンテキストを構築するために,エンフレバース生成と呼ばれる手法を提案する。 我々は,Blender,DialoGPT,Plato2の3種類の事前訓練済み対話モデルをテストする。
  論文  参考訳（メタデータ） (2022-12-04T12:23:41Z)
• RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models [93.151822563361]
  事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2020-09-24T03:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。