論文の概要: LLMs and Finetuning: Benchmarking cross-domain performance for hate
speech detection
- arxiv url: http://arxiv.org/abs/2310.18964v1
- Date: Sun, 29 Oct 2023 10:07:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 15:17:25.405101
- Title: LLMs and Finetuning: Benchmarking cross-domain performance for hate
speech detection
- Title(参考訳): LLMとファインタニング:ヘイトスピーチ検出のためのクロスドメイン性能のベンチマーク
- Authors: Ahmad Nasir, Aadish Sharma, Kokil Jaidka
- Abstract要約: 本稿では,ヘイトスピーチ検出のための事前学習型および微調整型大規模言語モデル(LLM)を比較した。
我々の研究は、LLMのクロスドメイン妥当性と過剰適合リスクの課題を浮き彫りにしている。
我々は、ドメイン間の一般化性を強調し、ヘイトスピーチ検出の未来に対するビジョンで締めくくる。
- 参考スコア(独自算出の注目度): 11.255011967393838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper compares different pre-trained and fine-tuned large language
models (LLMs) for hate speech detection. Our research underscores challenges in
LLMs' cross-domain validity and overfitting risks. Through evaluations, we
highlight the need for fine-tuned models that grasp the nuances of hate speech
through greater label heterogeneity. We conclude with a vision for the future
of hate speech detection, emphasizing cross-domain generalizability and
appropriate benchmarking practices.
- Abstract(参考訳): 本稿では,ヘイトスピーチ検出のための事前学習型および微調整型大規模言語モデル(LLM)を比較した。
我々の研究は、LLMのクロスドメイン妥当性と過剰適合リスクの課題を浮き彫りにしている。
評価を通して,ラベルの不均一性を高めることによってヘイトスピーチのニュアンスを把握できる微調整モデルの必要性を強調する。
最後に,ヘイトスピーチ検出の将来へのビジョンとして,ドメイン間の一般化可能性と適切なベンチマーク手法を強調した。
関連論文リスト
- Probing Critical Learning Dynamics of PLMs for Hate Speech Detection [39.970726250810635]
広く採用されているにもかかわらず、事前訓練された言語モデルにおける様々な重要な側面がヘイトスピーチ検出におけるパフォーマンスにどのように影響するかは研究されていない。
我々は、さまざまな事前学習モデルの比較、種子の堅牢性、微調整設定、事前学習データ収集時間の影響について深く掘り下げる。
本分析では, プレトレーニング中の下流タスクの早期ピーク, より最近のプレトレーニングコーパスの採用による限られたメリット, 微調整時の特定のレイヤの重要性を明らかにした。
論文 参考訳(メタデータ) (2024-02-03T13:23:51Z) - HARE: Explainable Hate Speech Detection with Step-by-Step Reasoning [29.519687405350304]
本稿では,大規模言語モデル(LLM)の推論能力を利用して,ヘイトスピーチの説明のギャップを埋めるヘイトスピーチ検出フレームワークHAREを紹介する。
SBICとImplicit Hateベンチマークの実験では、モデル生成データを用いた手法がベースラインを一貫して上回ることを示した。
提案手法は,訓練されたモデルの説明品質を高め,未知のデータセットへの一般化を改善する。
論文 参考訳(メタデータ) (2023-11-01T06:09:54Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - On the Challenges of Building Datasets for Hate Speech Detection [0.0]
我々はまず,データ中心のレンズを用いてヘイトスピーチ検出を取り巻く問題を分析する。
次に、データ生成パイプラインを7つの広範囲にわたってカプセル化する、包括的なフレームワークの概要を示します。
論文 参考訳(メタデータ) (2023-09-06T11:15:47Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳(メタデータ) (2023-05-23T21:50:06Z) - Improving Distortion Robustness of Self-supervised Speech Processing
Tasks with Domain Adaptation [60.26511271597065]
音声歪みは、視覚的に訓練された音声処理モデルの性能を劣化させる長年の問題である。
音声処理モデルのロバスト性を向上して、音声歪みに遭遇する際の良好な性能を得るには、時間を要する。
論文 参考訳(メタデータ) (2022-03-30T07:25:52Z) - APEACH: Attacking Pejorative Expressions with Analysis on
Crowd-Generated Hate Speech Evaluation Datasets [4.034948808542701]
APEACHは、特定されていないユーザによって生成されるヘイトスピーチの収集を可能にする方法である。
ヘイトスピーチの群集生成を制御し,最小限のポストラベルのみを追加することにより,ヘイトスピーチ検出の一般化と公平な評価を可能にするコーパスを作成する。
論文 参考訳(メタデータ) (2022-02-25T02:04:38Z) - Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。
私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。
そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
論文 参考訳(メタデータ) (2022-02-19T03:48:20Z) - Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。
言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。
本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
論文 参考訳(メタデータ) (2022-01-15T20:48:14Z) - Characterizing the adversarial vulnerability of speech self-supervised
learning [95.03389072594243]
我々は,ゼロ知識とリミテッド知識の両方の敵からの攻撃の下で,そのようなパラダイムの敵対的脆弱性を調査するための最初の試みを行う。
実験結果から, SUPERB が提案するパラダイムは, 限られた知識を持つ敵に対して脆弱であることが示唆された。
論文 参考訳(メタデータ) (2021-11-08T08:44:04Z) - Fight Fire with Fire: Fine-tuning Hate Detectors using Large Samples of
Generated Hate Speech [3.50640918825436]
我々は、GPT LMを用いて、利用可能なラベル付き例から大量の合成ヘイトスピーチ列を生成する。
BERT、RoBERTa、ALBERTのモデルを用いた実証的研究により、このアプローチが一般化を大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-09-01T19:47:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。