論文の概要: Explainable and High-Performance Hate and Offensive Speech Detection
- arxiv url: http://arxiv.org/abs/2206.12983v1
- Date: Sun, 26 Jun 2022 22:02:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 13:24:34.858038
- Title: Explainable and High-Performance Hate and Offensive Speech Detection
- Title(参考訳): 説明的かつ高性能なヘイトと攻撃的音声検出
- Authors: Marzieh Babaeianjelodar, Gurram Poorna Prudhvi, Stephen Lorenz, Keyu
Chen, Sumona Mondal, Soumyabrata Dey, and Navin Kumar
- Abstract要約: 我々は、Twitterデータに基づいてトレーニングされたXGBoostアルゴリズムに基づいて、説明可能かつ解釈可能なハイパフォーマンスモデルを構築した。
バランスの取れないTwitterデータに対して、XGboostはヘイトスピーチ検出におけるLSTM、AutoGluon、ULMFiTモデルよりも優れていた。
XGBoostはLSTM、AutoGluon、ULMFiTよりも、攻撃的な音声検出のためのダウンサンプルバージョンで性能が向上した。
- 参考スコア(独自算出の注目度): 2.0118655332883684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The spread of information through social media platforms can create
environments possibly hostile to vulnerable communities and silence certain
groups in society. To mitigate such instances, several models have been
developed to detect hate and offensive speech. Since detecting hate and
offensive speech in social media platforms could incorrectly exclude
individuals from social media platforms, which can reduce trust, there is a
need to create explainable and interpretable models. Thus, we build an
explainable and interpretable high performance model based on the XGBoost
algorithm, trained on Twitter data. For unbalanced Twitter data, XGboost
outperformed the LSTM, AutoGluon, and ULMFiT models on hate speech detection
with an F1 score of 0.75 compared to 0.38 and 0.37, and 0.38 respectively. When
we down-sampled the data to three separate classes of approximately 5000
tweets, XGBoost performed better than LSTM, AutoGluon, and ULMFiT; with F1
scores for hate speech detection of 0.79 vs 0.69, 0.77, and 0.66 respectively.
XGBoost also performed better than LSTM, AutoGluon, and ULMFiT in the
down-sampled version for offensive speech detection with F1 score of 0.83 vs
0.88, 0.82, and 0.79 respectively. We use Shapley Additive Explanations (SHAP)
on our XGBoost models' outputs to makes it explainable and interpretable
compared to LSTM, AutoGluon and ULMFiT that are black-box models.
- Abstract(参考訳): ソーシャルメディアプラットフォームを通じた情報の拡散は、潜在的に脆弱なコミュニティに敵対的な環境を作り、社会の特定のグループを黙らせることができる。
このような事例を緩和するために、ヘイトや攻撃的なスピーチを検出するために、いくつかのモデルが開発されている。
ソーシャルメディアプラットフォームにおけるヘイトや不快な発言の検出は、不正確に個人をソーシャルメディアプラットフォームから排除する可能性があるため、説明可能で解釈可能なモデルを作成する必要がある。
そこで本研究では,Twitterデータに基づくXGBoostアルゴリズムに基づく,説明可能な,解釈可能なハイパフォーマンスモデルを構築した。
バランスの取れていないTwitterデータに対して、XGboostはLSTM、AutoGluon、ULMFiTモデルでそれぞれ0.38、0.37、0.38のF1スコアでヘイトスピーチ検出を上回った。
XGBoostはLSTM、AutoGluon、ULMFiTの3つのクラスにデータをダウンサンプリングすると、それぞれ0.79対0.69、0.77、0.66のヘイトスピーチ検出でF1スコアが得られた。
XGBoostはLSTM、AutoGluon、ULMFiTよりも、それぞれ0.83対0.88対0.79対0.79の攻撃的音声検出のためのダウンサンプリング版で性能が向上した。
我々は、XGBoostモデルの出力にShapley Additive Explanations (SHAP)を使用し、ブラックボックスモデルであるLSTM、AutoGluon、ULMFiTと比較して説明可能で解釈可能である。
関連論文リスト
- HateGPT: Unleashing GPT-3.5 Turbo to Combat Hate Speech on X [0.0]
マクロF1スコアを用いた分類モデルの性能評価を行った。
その結果,ラン1が最高性能を示し,精度とリコールの点でモデルが一貫して良好に動作していることが示唆された。
論文 参考訳(メタデータ) (2024-11-14T06:20:21Z) - LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。
バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
論文 参考訳(メタデータ) (2024-10-27T16:23:26Z) - HateTinyLLM : Hate Speech Detection Using Tiny Large Language Models [0.0]
ヘイトスピーチ(Hate speech)は、個人やグループに対する軽蔑的または差別的な言語をターゲットにした、言語、書面、行動的なコミュニケーションを包含する。
HateTinyLLMは、効率的なヘイトスピーチ検出のための微調整デコーダのみの小さな大規模言語モデル(tinyLLM)に基づく、新しいフレームワークである。
論文 参考訳(メタデータ) (2024-04-26T05:29:35Z) - SpeechAlign: Aligning Speech Generation to Human Preferences [51.684183257809075]
本稿では,言語モデルと人間の嗜好を一致させる反復的自己改善戦略であるSpeechAlignを紹介する。
我々は、SpeechAlignが分散ギャップを埋め、言語モデルの継続的自己改善を促進することができることを示す。
論文 参考訳(メタデータ) (2024-04-08T15:21:17Z) - Query-Based Adversarial Prompt Generation [67.238873588125]
我々は、アライメント言語モデルが有害な文字列を出力する原因となる敵の例を構築します。
GPT-3.5とOpenAIの安全分類器に対する攻撃を検証する。
論文 参考訳(メタデータ) (2024-02-19T18:01:36Z) - Identifying False Content and Hate Speech in Sinhala YouTube Videos by
Analyzing the Audio [0.0]
本研究は、シンハラのYouTubeビデオにおける暴力や誤報の拡散を最小限に抑える方法を提案する。
このアプローチでは、タイトルと記述をオーディオコンテンツと比較することにより、ビデオに偽情報が含まれているかどうかを評価する評価システムを開発する。
論文 参考訳(メタデータ) (2024-01-30T08:08:34Z) - Hate Speech and Offensive Content Detection in Indo-Aryan Languages: A
Battle of LSTM and Transformers [0.0]
我々はベンガル語、アサメセ語、ボド語、シンハラ語、グジャラート語の5つの異なる言語でヘイトスピーチの分類を比較した。
Bert Base Multilingual Casedは、ベンガル語で0.67027得点、アサメ語で0.70525得点を達成した。
シンハラではXLM-RはF1スコア0.83493で際立っているが、グジャラティではF1スコア0.76601で照らされたカスタムLSTMベースのモデルである。
論文 参考訳(メタデータ) (2023-12-09T20:24:00Z) - Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale [58.46845567087977]
Voiceboxは、大規模音声のための最も多用途なテキスト誘導生成モデルである。
モノまたはクロスランガルのゼロショットテキスト音声合成、ノイズ除去、コンテンツ編集、スタイル変換、多様なサンプル生成に使用できる。
最先端のゼロショットTSモデルであるVALL-E(5.9%対1.9%のワードエラー率)とオーディオの類似性(0.580対0.681)は20倍高速である。
論文 参考訳(メタデータ) (2023-06-23T16:23:24Z) - Mega-TTS: Zero-Shot Text-to-Speech at Scale with Intrinsic Inductive
Bias [71.94109664001952]
Mega-TTSは、大規模な野生データで訓練された新しいゼロショットTSシステムである。
Mega-TTS はゼロショット TTS 音声編集や言語間 TTS タスクにおいて最先端 TTS システムを超えていることを示す。
論文 参考訳(メタデータ) (2023-06-06T08:54:49Z) - The False Promise of Imitating Proprietary LLMs [158.65692029352584]
より弱い言語モデルを安価に改善するための新しい方法は、より強力なモデルからの出力に対してそれを微調整することである。
このアプローチは、より弱いオープンソースモデルを使用して、プロプライエタリなモデルの機能を安価に模倣することを目指している。
まず、様々なベースモデルサイズを用いてChatGPTを模倣する一連のLMを微調整する。
次に、群衆レーダと標準NLPベンチマークを用いてモデルを評価する。
論文 参考訳(メタデータ) (2023-05-25T05:00:12Z) - You too Brutus! Trapping Hateful Users in Social Media: Challenges,
Solutions & Insights [11.266863752167678]
ヘイトスピーチは、オンラインソーシャルメディアを悩ませる重要な問題の1つだ。
問題空間の詳細な探索を行い、グラフニューラルネットワーク(GNN)を用いたモデルの配列を調査した。
テキストおよびグラフベースモデル上でのエラー解析を行い、憎しみのあるユーザが独自のネットワーク近傍シグネチャを持っていることを観察する。
論文 参考訳(メタデータ) (2021-08-01T19:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。