論文の概要: Efficient Hate Speech Detection: A Three-Layer LoRA-Tuned BERTweet Framework

• arxiv url: http://arxiv.org/abs/2511.06051v1
• Date: Sat, 08 Nov 2025 15:47:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.728643
• Title: Efficient Hate Speech Detection: A Three-Layer LoRA-Tuned BERTweet Framework
• Title（参考訳）: 効率的なヘイト音声検出:3層ロラ可変BERTweetフレームワーク
• Authors: Mahmoud El-Bahnasawi,
• Abstract要約: 本稿では,計算効率のよいヘイトスピーチ検出システムを開発する上での課題について述べる。 ルールベースの事前フィルタリングとパラメータ効率の高いLoRA調整BERTweetモデルを組み合わせた新しい3層フレームワークを提案する。 我々の手法はSafePhiのような最先端の大規模言語モデルの性能の94%を達成している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper addresses the critical challenge of developing computationally efficient hate speech detection systems that maintain competitive performance while being practical for real-time deployment. We propose a novel three-layer framework that combines rule-based pre-filtering with a parameter-efficient LoRA-tuned BERTweet model and continuous learning capabilities. Our approach achieves 0.85 macro F1 score - representing 94% of the performance of state-of-the-art large language models like SafePhi (Phi-4 based) while using a base model that is 100x smaller (134M vs 14B parameters). Compared to traditional BERT-based approaches with similar computational requirements, our method demonstrates superior performance through strategic dataset unification and optimized fine-tuning. The system requires only 1.87M trainable parameters (1.37% of full fine-tuning) and trains in approximately 2 hours on a single T4 GPU, making robust hate speech detection accessible in resource-constrained environments while maintaining competitive accuracy for real-world deployment.
• Abstract（参考訳）: 本稿では,リアルタイム展開に実用的でありながら,競争性能を維持する計算効率の高いヘイトスピーチ検出システムを開発する上での課題について述べる。 本稿では,ルールベースの事前フィルタリングとパラメータ効率の高いLoRA調整BERTweetモデルと連続学習機能を組み合わせた新しい3層フレームワークを提案する。 提案手法は,100倍小さいベースモデル (134M vs 14Bパラメータ) を用いて,SafePhi (Phi-4 ベース) のような最先端の大規模言語モデルの性能の 94% に相当する 0.85 マクロ F1 スコアを実現する。 提案手法は,従来のBERTベースの手法と類似した計算要件を持つ手法と比較して,戦略的データセットの統合と最適化された微調整により,優れた性能を示す。 トレーニング可能なパラメータはわずか1.87M(フル微調整の1.37%)で、1つのT4 GPUで約2時間で訓練し、実世界の展開の競争精度を維持しながら、リソース制約のある環境で堅牢なヘイトスピーチ検出を可能にする。

関連論文リスト

• Enhancing Speech Emotion Recognition via Fine-Tuning Pre-Trained Models and Hyper-Parameter Optimisation [3.313347968067735]
  本稿では,事前学習された表現とHPO戦略を用いた音声感情認識のためのワークフローを提案する。 実験は、32GBのRAMを持つ8つのCPUコアで動作する。 言語間の一般化のために、EmoDBで訓練されたHPOチューニングモデルでは、CREMA-Dでは0.25、RAVDESSでは0.26のゼロショット精度が向上している。
  論文  参考訳（メタデータ） (2025-10-08T14:20:43Z)
• Systematic Optimization of Open Source Large Language Models for Mathematical Reasoning [1.8254074486719114]
  本稿では,数学的推論タスクのための微調整モデルパラメータについて実践的検討を行う。 数学的推論タスクに関する5つの最先端モデルに対して、水平に最適化されたフレームワークが導入された。
  論文  参考訳（メタデータ） (2025-09-08T21:31:43Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
  本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。 APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。 鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
  論文  参考訳（メタデータ） (2025-04-21T22:29:02Z)
• The Surprising Effectiveness of Test-Time Training for Few-Shot Learning [59.309477460893916]
  言語モデル(LM)は、トレーニングディストリビューション内のタスクにおいて印象的なパフォーマンスを示しているが、しばしば構造的に新しいタスクで苦労している。 LMの推論と少数ショット学習能力を改善するメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。 本研究は,新しいタスクにおける文脈内学習の限界を強調し,言語モデルの適応性を高めるためのテストタイムトレーニングの可能性を示した。
  論文  参考訳（メタデータ） (2024-11-11T18:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。