論文の概要: Enhancing LLM-based Hatred and Toxicity Detection with Meta-Toxic Knowledge Graph

• arxiv url: http://arxiv.org/abs/2412.15268v2
• Date: Tue, 24 Dec 2024 04:38:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:53:30.764640
• Title: Enhancing LLM-based Hatred and Toxicity Detection with Meta-Toxic Knowledge Graph
• Title（参考訳）: メタ毒性知識グラフを用いたLLMによるハトレッドと毒性検出の強化
• Authors: Yibo Zhao, Jiapeng Zhu, Can Xu, Xiang Li,
• Abstract要約: ドメイン固有の有毒な知識の欠如は、偽陰性を引き起こす。 有害な音声に対する大規模言語モデルの過度な感度は、偽陽性をもたらす。 メタ有害知識グラフ上でのグラフ検索を利用して,憎悪や毒性を検出するメタトックスと呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 36.07351851458233
• License:
• Abstract: The rapid growth of social media platforms has raised significant concerns regarding online content toxicity. When Large Language Models (LLMs) are used for toxicity detection, two key challenges emerge: 1) the absence of domain-specific toxic knowledge leads to false negatives; 2) the excessive sensitivity of LLMs to toxic speech results in false positives, limiting freedom of speech. To address these issues, we propose a novel method called MetaTox, leveraging graph search on a meta-toxic knowledge graph to enhance hatred and toxicity detection. First, we construct a comprehensive meta-toxic knowledge graph by utilizing LLMs to extract toxic information through a three-step pipeline, with toxic benchmark datasets serving as corpora. Second, we query the graph via retrieval and ranking processes to supplement accurate, relevant toxic knowledge. Extensive experiments and in-depth case studies across multiple datasets demonstrate that our MetaTox significantly decreases the false positive rate while boosting overall toxicity detection performance. Our code will be available soon.
• Abstract（参考訳）: ソーシャルメディアプラットフォームの急速な成長は、オンラインコンテンツ毒性に関する大きな懸念を引き起こしている。 大きな言語モデル(LLM)が毒性検出に使用されると、2つの大きな課題が浮かび上がる。 1) ドメイン固有の有毒な知識の欠如は,虚偽の否定につながる。 2) LLMの有害音声に対する過度な感受性は, 偽陽性となり, 言論の自由が制限される。 これらの問題に対処するために,メタ有害知識グラフ上でグラフ検索を活用するMetaToxという新しい手法を提案する。 まず,LLMを用いて3段階のパイプラインから有害情報を抽出し,コーパスとして有毒なベンチマークデータセットを用いた総合的メタ有害知識グラフを構築する。 第2に、正確な有毒な知識を補うために、検索およびランキングプロセスを介してグラフを問い合わせる。 複数のデータセットにわたる大規模な実験と詳細なケーススタディにより、MetaToxは、全体的な毒性検出性能を高めながら、偽陽性率を著しく低下させることが示された。 私たちのコードはまもなく利用可能になります。

関連論文リスト

• Efficient Detection of Toxic Prompts in Large Language Models [8.794371569341429]
  大型言語モデル(LLM)は、有害または非倫理的な反応を誘発する有害なプロンプトを作る悪意のある個人によって利用することができる。 LLMの有害なプロンプトを効率的に検出する軽量グレーボックスであるToxicDetectorを提案する。 ToxicDetectorの精度は96.39%、偽陽性率は2.00%であり、最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-08-21T15:54:04Z)
• Detoxifying Large Language Models via Knowledge Editing [57.0669577257301]
  本稿では,Large Language Models (LLM) のデトックス化のための知識編集手法について検討する。 我々は、強力な攻撃プロンプトを持つ9つの安全でないカテゴリをカバーするベンチマーク、SafeEditを構築した。 いくつかの知識編集手法を用いて実験を行い、知識編集がLLMを解毒する可能性を示し、汎用性能に限られた影響を与えていることを示す。
  論文  参考訳（メタデータ） (2024-03-21T15:18:30Z)
• Unveiling the Implicit Toxicity in Large Language Models [77.90933074675543]
  大きな言語モデル(LLM)のオープンエンドネスと、その優れた機能を組み合わせることで、悪意のある使用のために悪用された場合、新たな安全性上の問題が発生する可能性がある。 LLMは、単純なゼロショットプロンプトによる検出が極めて困難である様々な暗黙的な有毒な出力を生成することができることを示す。 我々は,LLMの暗黙的毒性をさらに誘発する強化学習(RL)に基づく攻撃法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T06:42:36Z)
• You Only Prompt Once: On the Capabilities of Prompt Learning on Large Language Models to Tackle Toxic Content [13.600755614321493]
  大規模言語モデル(LLM)を用いて,オンライン上での有害コンテンツ問題に対処する方法について検討する。 1)毒性分類,2)毒性スパン検出,3)非毒性化の3つの課題に焦点をあてる。 その結果, 素早い学習は, 毒性分類タスクにおいて, ベースラインに比べて約10%改善することがわかった。
  論文  参考訳（メタデータ） (2023-08-10T14:14:13Z)
• Facilitating Fine-grained Detection of Chinese Toxic Language: Hierarchical Taxonomy, Resources, and Benchmarks [18.44630180661091]
  既存のデータセットには、有害な型や表現の詳細なアノテーションがない。 ポストの毒性を検出するために語彙的知識を導入することが重要である。 本稿では,中国語の有害な言語をきめ細かい検出を容易にする。
  論文  参考訳（メタデータ） (2023-05-08T03:50:38Z)
• Detoxifying Text with MaRCo: Controllable Revision with Experts and Anti-Experts [57.38912708076231]
  本稿では,制御可能な生成法とテキスト書き直し法を組み合わせた解毒アルゴリズムMARCoを紹介する。 MaRCoは、毒性のないLMと毒性のあるLMの下の可能性を利用して、マスクすべき候補単語を見つけ、置換する可能性がある。 我々は,いくつかの微妙な毒性とマイクロアグレスデータセットについて評価し,自動測定値の基準値を上回るだけでなく,MARCoの書き直しは人間による評価で2.1ドル以上好まれることを示した。
  論文  参考訳（メタデータ） (2022-12-20T18:50:00Z)
• Toxicity Detection can be Sensitive to the Conversational Context [64.28043776806213]
  2種類の毒性ラベルを持つ1万のポストのデータセットを構築し、公開します。 また,新たな課題である文脈感度推定を導入し,コンテキストも考慮された場合,毒性が変化すると認識された投稿を識別することを目的とした。
  論文  参考訳（メタデータ） (2021-11-19T13:57:26Z)
• RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models [93.151822563361]
  事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2020-09-24T03:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。