論文の概要: Parameter-Efficient Fine-Tuning for Low-Resource Languages: A Comparative Study of LLMs for Bengali Hate Speech Detection

• arxiv url: http://arxiv.org/abs/2510.16985v1
• Date: Sun, 19 Oct 2025 20:03:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.233941
• Title: Parameter-Efficient Fine-Tuning for Low-Resource Languages: A Comparative Study of LLMs for Bengali Hate Speech Detection
• Title（参考訳）: 低音源言語のためのパラメータ効率の良い微調整:ベンガルヘイト音声検出のためのLLMの比較検討
• Authors: Akif Islam, Mohd Ruhul Ameen,
• Abstract要約: 本稿では,LoRAとQLoRAを用いたベンガルヘイトスピーチ検出におけるPEFT(Efficient Fine-Tuning)の最初の応用について述べる。 BD-SHSデータセットには50,281の注釈付きコメントが記載されている。 Llama-3.2-3Bは92.23%、Mistral-7Bは88.94%、Gemma-3-4Bは80.25%だった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bengali social media platforms have witnessed a sharp increase in hate speech, disproportionately affecting women and adolescents. While datasets such as BD-SHS provide a basis for structured evaluation, most prior approaches rely on either computationally costly full-model fine-tuning or proprietary APIs. This paper presents the first application of Parameter-Efficient Fine-Tuning (PEFT) for Bengali hate speech detection using LoRA and QLoRA. Three instruction-tuned large language models - Gemma-3-4B, Llama-3.2-3B, and Mistral-7B - were fine-tuned on the BD-SHS dataset of 50,281 annotated comments. Each model was adapted by training fewer than 1% of its parameters, enabling experiments on a single consumer-grade GPU. The results show that Llama-3.2-3B achieved the highest F1-score of 92.23%, followed by Mistral-7B at 88.94% and Gemma-3-4B at 80.25%. These findings establish PEFT as a practical and replicable strategy for Bengali and related low-resource languages.
• Abstract（参考訳）: ベンガルのソーシャルメディアプラットフォームは、ヘイトスピーチの急増を目撃している。 BD-SHSのようなデータセットは構造化された評価の基礎を提供するが、従来のアプローチのほとんどは計算に費用がかかるフルモデルの微調整かプロプライエタリなAPIに依存していた。 本稿では,LoRA と QLoRA を用いたベンガルヘイトスピーチ検出のためのパラメータ効率の良いファインチューニング (PEFT) の最初の応用について述べる。 Gemma-3-4B、Llama-3.2-3B、Mistral-7Bの3つの命令調整された大言語モデルは50,281の注釈付きコメントのBD-SHSデータセット上で微調整された。 各モデルは、パラメータの1%未満のトレーニングによって適応され、単一のコンシューマグレードGPUでの実験を可能にした。 その結果、Llama-3.2-3Bは92.23%のF1スコアを獲得し、Mistral-7Bは88.94%、Gemma-3-4Bは80.25%に達した。 これらの結果から,PEFTはベンガル語とその関連低リソース言語の実用的かつ複製可能な戦略として確立された。

関連論文リスト

• Bengali Text Classification: An Evaluation of Large Language Model Approaches [0.0]
  英語とは異なり、Bengaliは広範な注釈付きデータセットと事前訓練された言語モデルがないため、課題に直面している。 本研究では,ベンガル語新聞記事の分類における大規模言語モデル(LLM)の有効性について検討する。
  論文  参考訳（メタデータ） (2026-01-17T18:25:19Z)
• Gradient Masters at BLP-2025 Task 1: Advancing Low-Resource NLP for Bengali using Ensemble-Based Adversarial Training for Hate Speech Detection [1.2744523252873352]
  YouTubeコメントにサブタスク1A(ハッシュ型分類)と1B(ターゲットグループ分類)に対処するためのアンサンブルに基づく微調整戦略を提案する。 本稿では,ベースラインモデルより優れ,サブタスク1Aにおいて第6位を確保したバングラ言語モデルに対するハイブリッドアプローチを提案する。
  論文  参考訳（メタデータ） (2025-11-23T07:29:09Z)
• LLM Based Sentiment Classification From Bangladesh E-Commerce Reviews [0.0]
  本稿では,バングラデシュのeコマースレビューの感情分析にトランスフォーマーを用いたBERTモデルの有効性について検討する。 バングラのオリジナルデータセットから4000サンプルのサブセットと、イングランドの顧客レビューを使用してモデルを微調整した。 微調整のLlama-3.1-8Bモデルは、全体的な精度、精度、リコール、F1スコア95.5%、93%、88%、90%で他の微調整モデルより優れていた。
  論文  参考訳（メタデータ） (2025-09-30T16:46:09Z)
• Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval [49.1574468325115]
  トレーニング済みのAmharic BERTとRoBERTaのバックボーンをベースとした,Amharic固有の高密度検索モデルを提案する。 提案したRoBERTa-Base-Amharic-Embedモデル(110Mパラメータ)は,MRR@10の相対的な改善を17.6%達成する。 RoBERTa-Medium-Amharic-Embed (42M)のようなよりコンパクトな派生型は13倍以上小さいまま競争力を維持している。
  論文  参考訳（メタデータ） (2025-05-25T23:06:20Z)
• MiMo: Unlocking the Reasoning Potential of Language Model -- From Pretraining to Posttraining [60.02032710118597]
  提案するMiMo-7Bは,学習前の段階と学習後の段階にまたがって最適化された,推論タスクのための大規模言語モデルである。 MiMo-7B-Baseは25兆のトークンで事前訓練されており、性能の向上と推論速度の高速化を目標としている。 最後のRLチューニングモデルであるMiMo-7B-RLは、OpenAI o1-miniの性能を上回り、数学、コード、一般的な推論タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-12T14:30:11Z)
• Performance Evaluation of Large Language Models in Bangla Consumer Health Query Summarization [1.2289361708127877]
  本研究では,9大言語モデル(LLM)のゼロショット性能について検討する。 ROUGEメトリクスを用いてこれらのLCMを、細調整された最先端モデルであるBangla T5に対してベンチマークした。 その結果、ゼロショットLLMは微調整モデルと競合し、タスク固有の訓練を必要とせずに高品質なサマリーを達成できることを示した。
  論文  参考訳（メタデータ） (2025-05-08T09:06:28Z)
• Leveraging Prompt-Tuning for Bengali Grammatical Error Explanation Using Large Language Models [0.0]
  ベンガル文法的誤り説明法(BGEE)の新しい3段階のプロンプトチューニング法を提案する。 本手法では,ベンガル語の文中の文法的誤りを識別・分類し,文の修正版を生成し,それぞれの誤りに対して自然言語による説明を提供する。 ベンガル語の専門家による自動評価と人的評価の両方を用いて,BGEEシステムの性能評価を行った。
  論文  参考訳（メタデータ） (2025-04-08T03:38:01Z)
• SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
  本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。 実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
  論文  参考訳（メタデータ） (2025-01-07T10:29:43Z)
• Benchmarking the Performance of Pre-trained LLMs across Urdu NLP Tasks [0.9786690381850356]
  本研究では、22のデータセットと13.8時間の発話をゼロショット環境で使用し、17のタスクにまたがる7つの顕著なLarge Language Model (LLM)を詳細に検討し、その性能を最先端(SOTA)モデルと比較した。 この結果から,Llama 3.1-8Bのようなより少ないパラメータを持つモデルでは,GPT-3.5のような言語多様性の低いモデルよりも,よりリッチな言語特化データの方が優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-05-24T11:30:37Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• LAraBench: Benchmarking Arabic AI with Large Language Models [26.249084464525044]
  LAraBenchはこのギャップをアラビア自然言語処理(NLP)と音声処理タスクに対処している。 我々は、GPT-3.5-turbo、GPT-4、BLOOMZ、Jais-13b-chat、Whisper、USMといったモデルを用いて、61のデータセットで33の異なるタスクに取り組む。 これには,296Kデータポイント,46時間スピーチ,テキスト音声(TTS)30文を含む98の実験的セットアップが含まれていた。
  論文  参考訳（メタデータ） (2023-05-24T10:16:16Z)
• Text Classification via Large Language Models [63.1874290788797]
  テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。 注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。 さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
  論文  参考訳（メタデータ） (2023-05-15T06:24:45Z)
• GLaM: Efficient Scaling of Language Models with Mixture-of-Experts [84.33607245023049]
  我々はGLaM(Generalist Language Model)という言語モデル群を提案し,開発する。 GLaMは、厳密な変種に比べてトレーニングコストを大幅に削減しつつ、モデルのキャパシティを拡大するために、わずかに活性化されたミックス・オブ・エキスパートアーキテクチャを使用する。 GPT-3の訓練に使用するエネルギーの1/3しか消費せず、推論にはフロップの半分しか必要とせず、29のNLPタスクにまたがる全体的なゼロショットとワンショットのパフォーマンスは向上している。
  論文  参考訳（メタデータ） (2021-12-13T18:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。