論文の概要: HateTinyLLM : Hate Speech Detection Using Tiny Large Language Models

• arxiv url: http://arxiv.org/abs/2405.01577v1
• Date: Fri, 26 Apr 2024 05:29:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-12 16:10:01.566600
• Title: HateTinyLLM : Hate Speech Detection Using Tiny Large Language Models
• Title（参考訳）: HateTinyLLM : Tiny Large Language Modelを用いたヘイトスピーチ検出
• Authors: Tanmay Sen, Ansuman Das, Mrinmay Sen,
• Abstract要約: ヘイトスピーチ(Hate speech)は、個人やグループに対する軽蔑的または差別的な言語をターゲットにした、言語、書面、行動的なコミュニケーションを包含する。 HateTinyLLMは、効率的なヘイトスピーチ検出のための微調整デコーダのみの小さな大規模言語モデル(tinyLLM)に基づく、新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hate speech encompasses verbal, written, or behavioral communication that targets derogatory or discriminatory language against individuals or groups based on sensitive characteristics. Automated hate speech detection plays a crucial role in curbing its propagation, especially across social media platforms. Various methods, including recent advancements in deep learning, have been devised to address this challenge. In this study, we introduce HateTinyLLM, a novel framework based on fine-tuned decoder-only tiny large language models (tinyLLMs) for efficient hate speech detection. Our experimental findings demonstrate that the fine-tuned HateTinyLLM outperforms the pretrained mixtral-7b model by a significant margin. We explored various tiny LLMs, including PY007/TinyLlama-1.1B-step-50K-105b, Microsoft/phi-2, and facebook/opt-1.3b, and fine-tuned them using LoRA and adapter methods. Our observations indicate that all LoRA-based fine-tuned models achieved over 80\% accuracy.
• Abstract（参考訳）: ヘイトスピーチ(英: Hate speech)は、個人やグループに対する軽蔑的または差別的な言語を標的とする、言語的、書面的、行動的なコミュニケーションを包含する。 ヘイトスピーチの自動検出は、特にソーシャルメディアプラットフォーム間での伝播を抑制する上で重要な役割を担っている。 近年のディープラーニングの進歩を含む様々な手法がこの課題に対処するために考案されている。 本研究では,HateTinyLLMを提案する。HateTinyLLMは,高効率なヘイトスピーチ検出のための,微調整デコーダのみの小型大言語モデル(tinyLLM)に基づく新しいフレームワークである。 実験結果から,HateTinyLLMは事前訓練したミキストラル7bモデルよりも有意差が認められた。 我々は、PY007/TinyLlama-1.1B-step-50K-105b、Microsoft/phi-2、facebook/opt-1.3bなど、様々な小さなLCMを探索し、LoRAとアダプタ手法を用いて微調整した。 以上の結果から,LoRAをベースとした微調整モデルの精度は80%を超えることがわかった。

関連論文リスト

• Causal Micro-Narratives [62.47217054314046]
  テキストから因果マイクロナラティブを分類する新しい手法を提案する。 これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
  論文  参考訳（メタデータ） (2024-10-07T17:55:10Z)
• An Investigation of Large Language Models for Real-World Hate Speech Detection [46.15140831710683]
  既存の手法の大きな制限は、ヘイトスピーチ検出がコンテキストの問題である点である。 近年,大規模言語モデル (LLM) はいくつかの自然言語処理において最先端の性能を示した。 本研究は, ヘイトスピーチの文脈を効果的に把握する上で, 巧妙な推論プロンプトが有効であることを明らかにする。
  論文  参考訳（メタデータ） (2024-01-07T00:39:33Z)
• Hate Speech and Offensive Content Detection in Indo-Aryan Languages: A Battle of LSTM and Transformers [0.0]
  我々はベンガル語、アサメセ語、ボド語、シンハラ語、グジャラート語の5つの異なる言語でヘイトスピーチの分類を比較した。 Bert Base Multilingual Casedは、ベンガル語で0.67027得点、アサメ語で0.70525得点を達成した。 シンハラではXLM-RはF1スコア0.83493で際立っているが、グジャラティではF1スコア0.76601で照らされたカスタムLSTMベースのモデルである。
  論文  参考訳（メタデータ） (2023-12-09T20:24:00Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• HARE: Explainable Hate Speech Detection with Step-by-Step Reasoning [29.519687405350304]
  本稿では,大規模言語モデル(LLM)の推論能力を利用して,ヘイトスピーチの説明のギャップを埋めるヘイトスピーチ検出フレームワークHAREを紹介する。 SBICとImplicit Hateベンチマークの実験では、モデル生成データを用いた手法がベースラインを一貫して上回ることを示した。 提案手法は,訓練されたモデルの説明品質を高め,未知のデータセットへの一般化を改善する。
  論文  参考訳（メタデータ） (2023-11-01T06:09:54Z)
• Evaluating ChatGPT's Performance for Multilingual and Emoji-based Hate Speech Detection [4.809236881780707]
  ChatGPTのような大規模言語モデルは、ヘイトスピーチ検出など、いくつかのタスクを実行する上で大きな可能性を最近示した。 本研究では,ChatGPTモデルの長所と短所を,11言語にわたるヘッジ音声の粒度レベルで評価することを目的とした。
  論文  参考訳（メタデータ） (2023-05-22T17:36:58Z)
• Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
  ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。 私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。 そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
  論文  参考訳（メタデータ） (2022-02-19T03:48:20Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• Detection of Hate Speech using BERT and Hate Speech Word Embedding with Deep Model [0.5801044612920815]
  本稿では,双方向LSTMに基づくディープモデルにドメイン固有の単語を埋め込み,ヘイトスピーチを自動的に検出・分類する可能性について検討する。 実験の結果、Bidirectional LSTMベースのディープモデルによるドメイン固有単語の埋め込みは93%のf1スコアを獲得し、BERTは96%のf1スコアを達成した。
  論文  参考訳（メタデータ） (2021-11-02T11:42:54Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Towards Hate Speech Detection at Large via Deep Generative Modeling [4.080068044420974]
  ヘイトスピーチ検出はソーシャルメディアプラットフォームにおいて重要な問題である。 生成言語モデルにより生成された100万件の現実的憎悪と非憎悪のシーケンスのデータセットを提示する。 5つの公開ヘイトスピーチデータセットで一貫した、重要なパフォーマンス改善を実証する。
  論文  参考訳（メタデータ） (2020-05-13T15:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。