論文の概要: A Multi-Task Benchmark for Abusive Language Detection in Low-Resource Settings
- arxiv url: http://arxiv.org/abs/2505.12116v1
- Date: Sat, 17 May 2025 18:52:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.046944
- Title: A Multi-Task Benchmark for Abusive Language Detection in Low-Resource Settings
- Title（参考訳）: 低リソース環境における乱用言語検出のためのマルチタスクベンチマーク
- Authors: Fitsum Gaim, Hoyun Song, Huije Lee, Changgeon Ko, Eui Jun Hwang, Jong C. Park,
- Abstract要約: 本研究は,Tigrinyaソーシャルメディアにおける乱用言語検出のための大規模人手アノテーション付きベンチマークデータセットを提案する。
このデータセットは、9人のネイティブスピーカーが注釈付けした13,717のYouTubeコメントで構成され、51チャンネルで合計12億ビューの7,373のビデオから集められている。
実験の結果,小型で特殊なマルチタスクモデルは,低リソース環境での現在のフロンティアモデルよりも優れていることがわかった。
- 参考スコア（独自算出の注目度）: 8.361945776819528
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Content moderation research has recently made significant advances, but still fails to serve the majority of the world's languages due to the lack of resources, leaving millions of vulnerable users to online hostility. This work presents a large-scale human-annotated multi-task benchmark dataset for abusive language detection in Tigrinya social media with joint annotations for three tasks: abusiveness, sentiment, and topic classification. The dataset comprises 13,717 YouTube comments annotated by nine native speakers, collected from 7,373 videos with a total of over 1.2 billion views across 51 channels. We developed an iterative term clustering approach for effective data selection. Recognizing that around 64% of Tigrinya social media content uses Romanized transliterations rather than native Ge'ez script, our dataset accommodates both writing systems to reflect actual language use. We establish strong baselines across the tasks in the benchmark, while leaving significant challenges for future contributions. Our experiments reveal that small, specialized multi-task models outperform the current frontier models in the low-resource setting, achieving up to 86% accuracy (+7 points) in abusiveness detection. We make the resources publicly available to promote research on online safety.
- Abstract（参考訳）: コンテンツモデレーションの研究は近年大きな進歩を遂げているが、リソース不足のため世界の言語の大部分に役立たず、何百万人もの脆弱なユーザーをオンライン敵意に残した。
本研究は,Tigrinyaソーシャルメディアにおける乱用言語検出のための大規模マルチタスクベンチマークデータセットを,乱用性,感情,トピック分類の3つのタスクに対して共同アノテーションで提示する。
このデータセットは、9人のネイティブスピーカーが注釈付けした13,717のYouTubeコメントで構成され、51チャンネルで合計12億ビューの7,373のビデオから集められている。
効率的なデータ選択のための反復的項クラスタリング手法を開発した。
Tigrinyaのソーシャルメディアコンテンツの約64%が、ネイティブなGe'ezスクリプトではなく、ローマ字による文字変換を使用していることを認識して、我々のデータセットは両方の書き込みシステムに対応して、実際の言語使用を反映している。
ベンチマークのタスク全体で強力なベースラインを確立しつつ、今後のコントリビューションに重要な課題を残しています。
実験の結果, マルチタスクの小型モデルは, 低リソース環境でのフロンティアモデルよりも優れており, 虐待検出において最大86%の精度(+7ポイント)を実現していることがわかった。
オンライン安全の研究を促進するために,これらの資源を一般公開する。
関連論文リスト
- Entity-aware Cross-lingual Claim Detection for Automated Fact-checking [7.242609314791262]
Ex-Claimは,任意の言語で記述されたクレームの処理をうまく一般化する,エンティティ対応の言語間クレーム検出モデルである。
提案手法は,27言語にまたがるベースラインを著しく上回り,限られた学習データであっても,最も高い知識伝達率を達成する。
論文 参考訳（メタデータ） (2025-03-19T14:00:55Z) - Zero-shot Sentiment Analysis in Low-Resource Languages Using a
Multilingual Sentiment Lexicon [78.12363425794214]
私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。
文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
論文 参考訳（メタデータ） (2024-02-03T10:41:05Z) - Hate Speech and Offensive Language Detection using an Emotion-aware
Shared Encoder [1.8734449181723825]
ヘイトスピーチと攻撃的言語検出に関する既存の研究は、事前学習されたトランスフォーマーモデルに基づいて有望な結果をもたらす。
本稿では,他コーパスから抽出した外的感情特徴を組み合わせたマルチタスク共同学習手法を提案する。
以上の結果から,感情的な知識が,データセット間のヘイトスピーチや攻撃的言語をより確実に識別する上で有効であることが示唆された。
論文 参考訳（メタデータ） (2023-02-17T09:31:06Z) - Language Independent Stance Detection: Social Interaction-based Embeddings and Large Language Models [4.899818550820576]
本稿では,テキストそのものではなく,ソーシャルネットワーク上で利用できるインタラクションに重点を置くことで,姿勢検出の課題に取り組むことを目的とする。
埋め込みを生成することで友達のリツイートなどのソーシャル情報を活用できる新しい手法を提案する。
公開されている7つのデータセットと4つの異なる言語に関する実験により、リレーショナルな埋め込みと差別的なテキストの手法を組み合わせることで、パフォーマンスが大幅に向上することが示された。
論文 参考訳（メタデータ） (2022-10-11T18:13:43Z) - No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。
何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。
本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
論文 参考訳（メタデータ） (2022-07-11T07:33:36Z) - IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and
Languages [87.5457337866383]
画像認識言語理解評価ベンチマークについて紹介する。
IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。
翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
論文 参考訳（メタデータ） (2022-01-27T18:53:22Z) - Addressing the Challenges of Cross-Lingual Hate Speech Detection [115.1352779982269]
本稿では,低リソース言語におけるヘイトスピーチ検出を支援するために,言語間移動学習に着目した。
言語間単語の埋め込みを利用して、ソース言語上でニューラルネットワークシステムをトレーニングし、ターゲット言語に適用します。
本研究では,ヘイトスピーチデータセットのラベル不均衡の問題について検討する。なぜなら,ヘイトサンプルと比較して非ヘイトサンプルの比率が高いことがモデル性能の低下につながることが多いからだ。
論文 参考訳（メタデータ） (2022-01-15T20:48:14Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳（メタデータ） (2021-11-04T12:59:55Z) - Few-Shot Cross-Lingual Stance Detection with Sentiment-Based
Pre-Training [32.800766653254634]
本研究は,現在までの言語間スタンス検出に関する最も包括的な研究である。
6つの言語ファミリーの12言語で15の多様なデータセットを使用します。
実験では,新しいラベルエンコーダの追加を提案し,パターン探索トレーニングを構築した。
論文 参考訳（メタデータ） (2021-09-13T15:20:06Z) - Semi-automatic Generation of Multilingual Datasets for Stance Detection
in Twitter [9.359018642178917]
本稿では,Twitterにおける姿勢検出のための多言語データセットを得る手法を提案する。
ユーザベースの情報を利用して、大量のツイートを半自動でラベル付けします。
論文 参考訳（メタデータ） (2021-01-28T13:05:09Z) - Learning to Learn Morphological Inflection for Resource-Poor Languages [105.11499402984482]
本稿では,メタラーニング問題として資源不足言語に対する形態的インフレクション(補題を表象形にマッピングする)の課題を提案する。
それぞれの言語を個別のタスクとして扱うことで、高速ソース言語からのデータを使ってモデルパラメータの集合を学習する。
3つのファミリーから29のターゲット言語を対象とする2つのモデルアーキテクチャの実験により、提案手法がすべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2020-04-28T05:13:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。