Fugu-MT 論文翻訳(概要): Creating and Evaluating Code-Mixed Nepali-English and Telugu-English Datasets for Abusive Language Detection Using Traditional and Deep Learning Models

論文の概要: Creating and Evaluating Code-Mixed Nepali-English and Telugu-English Datasets for Abusive Language Detection Using Traditional and Deep Learning Models

arxiv url: http://arxiv.org/abs/2504.21026v1
Date: Wed, 23 Apr 2025 11:29:10 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-10 02:18:13.348163
Title: Creating and Evaluating Code-Mixed Nepali-English and Telugu-English Datasets for Abusive Language Detection Using Traditional and Deep Learning Models
Title（参考訳）: 従来の学習モデルと深層学習モデルを用いた乱用言語検出のためのコードミクシングネパール英語・テルグ英語データセットの作成と評価
Authors: Manish Pandey, Nageshwar Prasad Yadav, Mokshada Adduru, Sawan Rai,
Abstract要約: 我々は,2千のテルグ語と5つのネパール語と英語のコードミキシングされたコメントからなる,手動で注釈付けされた新しいデータセットを紹介した。データセットは厳格な事前処理を経て、複数の機械学習(ML)、ディープラーニング(DL)、大規模言語モデル(LLM)で評価される。本研究は,コード混在環境における乱用言語検出の課題について,重要な知見を提供するものである。
参考スコア（独自算出の注目度）: 1.835004446596942
License: http://creativecommons.org/licenses/by/4.0/
Abstract: With the growing presence of multilingual users on social media, detecting abusive language in code-mixed text has become increasingly challenging. Code-mixed communication, where users seamlessly switch between English and their native languages, poses difficulties for traditional abuse detection models, as offensive content may be context-dependent or obscured by linguistic blending. While abusive language detection has been extensively explored for high-resource languages like English and Hindi, low-resource languages such as Telugu and Nepali remain underrepresented, leaving gaps in effective moderation. In this study, we introduce a novel, manually annotated dataset of 2 thousand Telugu-English and 5 Nepali-English code-mixed comments, categorized as abusive and non-abusive, collected from various social media platforms. The dataset undergoes rigorous preprocessing before being evaluated across multiple Machine Learning (ML), Deep Learning (DL), and Large Language Models (LLMs). We experimented with models including Logistic Regression, Random Forest, Support Vector Machines (SVM), Neural Networks (NN), LSTM, CNN, and LLMs, optimizing their performance through hyperparameter tuning, and evaluate it using 10-fold cross-validation and statistical significance testing (t-test). Our findings provide key insights into the challenges of detecting abusive language in code-mixed settings and offer a comparative analysis of computational approaches. This study contributes to advancing NLP for low-resource languages by establishing benchmarks for abusive language detection in Telugu-English and Nepali-English code-mixed text. The dataset and insights can aid in the development of more robust moderation strategies for multilingual social media environments.
Abstract（参考訳）: ソーシャルメディア上での多言語ユーザの増加に伴い、コード混在テキストにおける乱用言語の検出がますます困難になっている。ユーザが英語と母国語をシームレスに切り替えるコードミックス通信は、攻撃的コンテンツが文脈に依存したり、言語ブレンディングによって曖昧になる可能性があるため、従来の乱用検出モデルでは困難である。英語やヒンディー語のような高リソース言語に対しては、乱用言語検出が広く研究されているが、テルグ語やネパール語のような低リソース言語は、効果的なモデレーションの欠如を残している。本研究では, 様々なソーシャルメディアプラットフォームから収集された, 2 万のテルーグ英語と 5 のネパール英語のコードミキシングによるコメントを, 虐待的かつ非虐待的に分類した, 手書きの注釈付きデータセットを紹介した。データセットは厳格な事前処理を経て、複数の機械学習(ML)、ディープラーニング(DL)、大規模言語モデル(LLM)で評価される。我々は、ロジスティック回帰、ランダムフォレスト、サポートベクトルマシン(SVM)、ニューラルネットワーク(NN)、LSTM、CNN、LLMなどのモデルで実験を行い、ハイパーパラメータチューニングにより性能を最適化し、10倍のクロスバリデーションと統計的意義テスト(t-test)を用いて評価した。本研究は,コード混合設定における乱用言語検出の課題について重要な知見を提供し,計算手法の比較分析を行う。本研究は,テルーグ英語とネパール英語のコードミキシングテキストにおける乱用言語検出のベンチマークを確立することにより,低リソース言語におけるNLPの進歩に寄与する。このデータセットと洞察は、多言語ソーシャルメディア環境のためのより堅牢なモデレーション戦略の開発に役立つ。

論文の概要: Creating and Evaluating Code-Mixed Nepali-English and Telugu-English Datasets for Abusive Language Detection Using Traditional and Deep Learning Models

関連論文リスト