論文の概要: LLMs and Finetuning: Benchmarking cross-domain performance for hate speech detection

• arxiv url: http://arxiv.org/abs/2310.18964v4
• Date: Wed, 30 Apr 2025 14:53:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:51.563042
• Title: LLMs and Finetuning: Benchmarking cross-domain performance for hate speech detection
• Title（参考訳）: LLMとファインタニング:ヘイトスピーチ検出のためのクロスドメイン性能のベンチマーク
• Authors: Ahmad Nasir, Aadish Sharma, Kokil Jaidka, Saifuddin Ahmed,
• Abstract要約: 本研究では,ヘイトスピーチの同定における事前学習および微調整型大言語モデル(LLM)の有効性と適応性について検討した。 LLMは、事前トレーニングなしでも最先端技術に対して大きな優位性を提供します。
• 参考スコア（独自算出の注目度）: 9.166963162285064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the evolving landscape of online communication, hate speech detection remains a formidable challenge, further compounded by the diversity of digital platforms. This study investigates the effectiveness and adaptability of pre-trained and fine-tuned Large Language Models (LLMs) in identifying hate speech, to address two central questions: (1) To what extent does the model performance depend on the fine-tuning and training parameters?, (2) To what extent do models generalize to cross-domain hate speech detection? and (3) What are the specific features of the datasets or models that influence the generalization potential? The experiment shows that LLMs offer a huge advantage over the state-of-the-art even without pretraining. Ordinary least squares analyses suggest that the advantage of training with fine-grained hate speech labels is washed away with the increase in dataset size. While our research demonstrates the potential of large language models (LLMs) for hate speech detection, several limitations remain, particularly regarding the validity and the reproducibility of the results. We conclude with an exhaustive discussion of the challenges we faced in our experimentation and offer recommended best practices for future scholars designing benchmarking experiments of this kind.
• Abstract（参考訳）: オンラインコミュニケーションの進化する状況において、ヘイトスピーチの検出は、デジタルプラットフォームの多様性によってさらに複雑化され、依然として深刻な課題である。 本研究では,ヘイトスピーチの同定における事前学習および微調整大言語モデル(LLM)の有効性と適応性について検討し,(1)微調整および訓練パラメータに依存するモデル性能の程度について検討した。 モデルがクロスドメインヘイトスピーチ検出にどの程度一般化されるか? および(3)一般化ポテンシャルに影響を与えるデータセットやモデルの特徴は何か。 この実験は、LLMが事前訓練なしでも最先端技術に対して大きな優位性を持っていることを示している。 通常の最小二乗分析では、データセットサイズの増加により、きめ細かいヘイトスピーチラベルを用いたトレーニングの利点が洗い流されていることが示唆されている。 本研究は,ヘイトスピーチ検出のための大規模言語モデル(LLM)の可能性を示すものであるが,その妥当性と再現性にはいくつかの制限が残されている。 我々は、我々が実験で直面した課題について徹底的に議論し、将来の研究者がこの種のベンチマーク実験を設計する上で推奨されるベストプラクティスを提示した。

関連論文リスト

• Audio Large Language Models Can Be Descriptive Speech Quality Evaluators [46.765203628127345]
  本稿では,人間格付けから生成した最初の自然言語に基づく音声評価コーパスについて紹介する。 このコーパスは、複数の次元にわたる詳細な分析を提供し、品質劣化の原因を特定する。 生音声から関連情報を抽出するために,LLM蒸留(ALLD)を用いたアライメント手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T22:47:51Z)
• Bridging Modalities: Enhancing Cross-Modality Hate Speech Detection with Few-Shot In-Context Learning [4.136573141724715]
  インターネット上でのヘイトスピーチは、デジタルプラットフォームの安全性にとって大きな課題となる。 近年の研究では、特定のモダリティに合わせた検出モデルが開発されている。 本研究では,大規模言語モデルを用いたテキスト内学習を多用した広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-10-08T01:27:12Z)
• Intent-conditioned and Non-toxic Counterspeech Generation using Multi-Task Instruction Tuning with RLAIF [14.2594830589926]
  オンラインヘイトスピーチに対する反応として定義されているCounterspeechは、非センセーショナルソリューションとしてますます利用されている。 ヘイトフルステートメントにおける社会的バイアスの背景にある実践的意味をモデル化し,反音声生成を促進させる新しいフレームワークであるCoARLを紹介した。 CoARLの最初の2つのフェーズは、連続的なマルチインストラクションチューニング、インテント、反応、攻撃的ステートメントの害を理解するためのモデルを教えること、そしてインテント条件付き逆音声を生成するためのタスク固有の低ランクアダプタ重みを学習することである。
  論文  参考訳（メタデータ） (2024-03-15T08:03:49Z)
• Probing Critical Learning Dynamics of PLMs for Hate Speech Detection [39.970726250810635]
  広く採用されているにもかかわらず、事前訓練された言語モデルにおける様々な重要な側面がヘイトスピーチ検出におけるパフォーマンスにどのように影響するかは研究されていない。 我々は、さまざまな事前学習モデルの比較、種子の堅牢性、微調整設定、事前学習データ収集時間の影響について深く掘り下げる。 本分析では, プレトレーニング中の下流タスクの早期ピーク, より最近のプレトレーニングコーパスの採用による限られたメリット, 微調整時の特定のレイヤの重要性を明らかにした。
  論文  参考訳（メタデータ） (2024-02-03T13:23:51Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• Hate Speech Detection via Dual Contrastive Learning [25.878271501274245]
  本稿では,ヘイトスピーチ検出のための新しい双方向コントラスト学習フレームワークを提案する。 本フレームワークは,自己教師型学習と教師型学習の損失を協調的に最適化し,スパンレベルの情報を取得する。 公開可能な2つの英語データセットの実験を行い、実験結果から、提案モデルが最先端のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-10T13:23:36Z)
• A Pretrainer's Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity [84.6421260559093]
  この研究は、テキスト事前学習に関する文書化されていない直観を検証、定量化、公開するための最大の実験である。 以上の結果から,トレーニングデータをフィルタリングする一大ソリューションが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T15:57:53Z)
• Detect Hate Speech in Unseen Domains using Multi-Task Learning: A Case Study of Political Public Figures [7.52579126252489]
  複数のヘイトスピーチデータセットを同時に学習するマルチタスク学習パイプラインを提案する。 列車-テスト分割における一般化誤差を調べる際には強い結果が得られ、以前に見つからなかったデータセットで予測する場合には大幅に改善される。 PubFigsと呼ばれる新しいデータセットも収集し、アメリカ公共政治図の問題点に焦点をあてた。
  論文  参考訳（メタデータ） (2022-08-22T21:13:38Z)
• Improving Distortion Robustness of Self-supervised Speech Processing Tasks with Domain Adaptation [60.26511271597065]
  音声歪みは、視覚的に訓練された音声処理モデルの性能を劣化させる長年の問題である。 音声処理モデルのロバスト性を向上して、音声歪みに遭遇する際の良好な性能を得るには、時間を要する。
  論文  参考訳（メタデータ） (2022-03-30T07:25:52Z)
• Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
  ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。 私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。 そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
  論文  参考訳（メタデータ） (2022-02-19T03:48:20Z)
• Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
  本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。 言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。 本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
  論文  参考訳（メタデータ） (2022-01-15T20:48:14Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Sub-word Level Lip Reading With Visual Attention [88.89348882036512]
  我々は、リップリーディングで遭遇するユニークな課題に注目し、調整されたソリューションを提案する。 公開データセット上でのトレーニングにおいて,挑戦的なLSS2とLSS3ベンチマークの最先端結果を得る。 我々の最良のモデルはLRS2データセットで22.6%のワードエラー率を達成する。
  論文  参考訳（メタデータ） (2021-10-14T17:59:57Z)
• Statistical Analysis of Perspective Scores on Hate Speech Detection [7.447951461558536]
  最先端のヘイトスピーチ分類器は、トレーニングデータと同じ特徴分布を持つデータ上でテストする場合のみ効率的である。 このような低レベルの特徴に依存する多様なデータ分布は、データの自然なバイアスによる欠如の主な原因である。 異なるヘイトスピーチデータセットは、パースペクティブスコアを抽出するという点では、非常によく似ている。
  論文  参考訳（メタデータ） (2021-06-22T17:17:35Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)
• Phoneme Boundary Detection using Learnable Segmental Features [31.203969460341817]
  音素境界検出は様々な音声処理アプリケーションにおいて重要な第一歩となる。 本稿では,音素境界検出タスクのセグメント表現を学習するために,パラメータ化された構造的損失関数と結合したニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-11T14:03:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。