論文の概要: Probing LLMs for hate speech detection: strengths and vulnerabilities

• arxiv url: http://arxiv.org/abs/2310.12860v2
• Date: Sat, 28 Oct 2023 05:07:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 19:37:33.255231
• Title: Probing LLMs for hate speech detection: strengths and vulnerabilities
• Title（参考訳）: ヘイトスピーチ検出のためのllmの探索:強みと脆弱性
• Authors: Sarthak Roy, Ashish Harshavardhan, Animesh Mukherjee and Punyajoy Saha
• Abstract要約: 我々は、異なるプロンプト変動、入力情報を活用し、ゼロショット設定で大きな言語モデルを評価する。 GPT-3.5、text-davinci、Flan-T5の3つの大きな言語モデルと、HateXplain、暗黙の憎しみ、ToxicSpansという3つのデータセットを選択します。 パイプライン内のターゲット情報を含む平均すると,モデルの性能が大幅に向上することがわかった。
• 参考スコア（独自算出の注目度）: 8.626059038321724
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recently efforts have been made by social media platforms as well as researchers to detect hateful or toxic language using large language models. However, none of these works aim to use explanation, additional context and victim community information in the detection process. We utilise different prompt variation, input information and evaluate large language models in zero shot setting (without adding any in-context examples). We select three large language models (GPT-3.5, text-davinci and Flan-T5) and three datasets - HateXplain, implicit hate and ToxicSpans. We find that on average including the target information in the pipeline improves the model performance substantially (~20-30%) over the baseline across the datasets. There is also a considerable effect of adding the rationales/explanations into the pipeline (~10-20%) over the baseline across the datasets. In addition, we further provide a typology of the error cases where these large language models fail to (i) classify and (ii) explain the reason for the decisions they take. Such vulnerable points automatically constitute 'jailbreak' prompts for these models and industry scale safeguard techniques need to be developed to make the models robust against such prompts.
• Abstract（参考訳）: 近年,ソーシャルメディアや研究者が,大規模な言語モデルを用いて憎悪や有害な言語を検出する取り組みを行っている。 しかし、これらの研究は、検出プロセスで説明、追加の文脈、被害者のコミュニティ情報を使うことを意図していない。 我々は、異なるプロンプト変動、入力情報を活用し、大きな言語モデルをゼロショット設定で評価する(文脈内サンプルを追加せずに)。 我々は3つの大きな言語モデル(GPT-3.5、text-davinci、Flan-T5)と3つのデータセットHateXplain、暗黙の憎しみ、ToxicSpansを選択します。 パイプラインのターゲット情報を含む平均すると、データセット全体のベースライン上でのモデルパフォーマンスが大幅に向上する(約20～30%)。 また、データセットをまたいだベースライン上でパイプライン(約10～20%)に合理性/説明を加えるという、かなりの効果があります。 さらに,このような大規模言語モデルに失敗するエラー事例の類型化についても述べる。 (i)分類・分類 (ii)決定の理由を説明する。 このような脆弱な点は、これらのモデルの'jailbreak'プロンプトを自動で構成し、そのようなプロンプトに対してモデルを堅牢にするためには、業界規模のセーフガード技術を開発する必要がある。

関連論文リスト

• Identifying and Mitigating Model Failures through Few-shot CLIP-aided Diffusion Generation [65.268245109828]
  本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。 これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。 本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
  論文  参考訳（メタデータ） (2023-12-09T04:43:49Z)
• Generative AI for Hate Speech Detection: Evaluation and Findings [11.478263835391436]
  生成AIは、大量の合成ヘイトスピーチシーケンスを生成するために利用されてきた。 本章では,本手法の方法論,実験的設定,評価について概説する。 GPT-3.5やそれ以降のモデルの感度は、テキスト生成の類似技術を用いて改善できるのかという疑問が浮かび上がっている。
  論文  参考訳（メタデータ） (2023-11-16T16:09:43Z)
• Hate Speech Detection in Limited Data Contexts using Synthetic Data Generation [1.9506923346234724]
  本稿では,限られたデータコンテキストにおいて,オンラインヘイトスピーチ検出のためのデータ不足の問題に対処するデータ拡張手法を提案する。 対象言語におけるヘイトスピーチデータの新しい例を合成する3つの方法を提案する。 以上の結果から, 合成データを用いたモデルでは, 対象領域で利用可能なサンプルに対してのみ学習したモデルが比較可能であり, 性能が良好である場合も見いだされた。
  論文  参考訳（メタデータ） (2023-10-04T15:10:06Z)
• Making Retrieval-Augmented Language Models Robust to Irrelevant Context [55.564789967211844]
  ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。 近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
  論文  参考訳（メタデータ） (2023-10-02T18:52:35Z)
• Can ChatGPT Detect Intent? Evaluating Large Language Models for Spoken Language Understanding [13.352795145385645]
  大規模な事前訓練された言語モデルは、強力な言語理解能力を示している。 複数のベンチマークで異なるサイズのChatGPTやOPTなどのモデルを評価した。 しかし、スロットフィリングではモデルが悪化し、その性能はASR誤差に敏感であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T21:59:26Z)
• POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models [62.23255433487586]
  モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。 本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
  論文  参考訳（メタデータ） (2023-04-29T22:05:22Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Leveraging Multi-domain, Heterogeneous Data using Deep Multitask Learning for Hate Speech Detection [21.410160004193916]
  畳み込みニューラルネットワークに基づくマルチタスク学習モデル(MTL)フットノートコードを提案し,複数のソースからの情報を活用する。 3つのベンチマークデータセットで実施した実証分析は,提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-03-23T09:31:01Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。