論文の概要: DIA-HARM: Dialectal Disparities in Harmful Content Detection Across 50 English Dialects
- arxiv url: http://arxiv.org/abs/2604.05318v1
- Date: Tue, 07 Apr 2026 01:43:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.56497
- Title: DIA-HARM: Dialectal Disparities in Harmful Content Detection Across 50 English Dialects
- Title（参考訳）: DIA-HARM:50の英方言におけるハーモフルコンテンツ検出における方言の差異
- Authors: Jason Lucas, Matt Murtagh, Ali Al-Lawati, Uchendu Uchendu, Adaku Uchendu, Dongwon Lee,
- Abstract要約: 本稿では,50の英語方言における偽情報検出のための最初のベンチマークであるDIA-HARMを提案する。
人間による方言の含有量は1.4-3.6%減少し、一方でAI生成された内容は安定している。
私たちはDIA-HARMフレームワーク、D3コーパス、評価ツールをリリースします。
- 参考スコア（独自算出の注目度）: 6.107850985025956
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Harmful content detectors-particularly disinformation classifiers-are predominantly developed and evaluated on Standard American English (SAE), leaving their robustness to dialectal variation unexplored. We present DIA-HARM, the first benchmark for evaluating disinformation detection robustness across 50 English dialects spanning U.S., British, African, Caribbean, and Asia-Pacific varieties. Using Multi-VALUE's linguistically grounded transformations, we introduce D3 (Dialectal Disinformation Detection), a corpus of 195K samples derived from established disinformation benchmarks. Our evaluation of 16 detection models reveals systematic vulnerabilities: human-written dialectal content degrades detection by 1.4-3.6% F1, while AI-generated content remains stable. Fine-tuned transformers substantially outperform zero-shot LLMs (96.6% vs. 78.3% best-case F1), with some models exhibiting catastrophic failures exceeding 33% degradation on mixed content. Cross-dialectal transfer analysis across 2,450 dialect pairs shows that multilingual models (mDeBERTa: 97.2% average F1) generalize effectively, while monolingual models like RoBERTa and XLM-RoBERTa fail on dialectal inputs. These findings demonstrate that current disinformation detectors may systematically disadvantage hundreds of millions of non-SAE speakers worldwide. We release the DIA-HARM framework, D3 corpus, and evaluation tools: https://github.com/jsl5710/dia-harm
- Abstract（参考訳）: 有害なコンテンツ検出装置(特に非情報分類器)は標準アメリカ英語(SAE)で主に開発・評価され、その頑健さは未探索のままである。
本稿では,アメリカ,イギリス,アフリカ,カリブ海,アジア太平洋に分布する50の英方言における偽情報検出堅牢性を評価するための最初のベンチマークであるDIA-HARMを提案する。
我々は,Multi-VALUEの言語基盤変換を用いて,確立された偽情報ベンチマークから得られた195KサンプルのコーパスであるD3(Dialectal Disinformation Detection)を導入する。
人間の記述した方言コンテンツは、検出を1.4～3.6%低下させ、AI生成したコンテンツは安定している。
微調整変圧器はゼロショットLLM(96.6%対78.3%のベストケースF1)を大幅に上回り、いくつかのモデルでは、混合したコンテンツの33%以上の破壊的故障を示す。
2450の方言対の交叉移動解析では、多言語モデル(mDeBERTa:97.2%の平均F1)が効果的に一般化され、RoBERTaやXLM-RoBERTaのような単言語モデルは方言入力では失敗する。
これらの結果は、現在の偽情報検出装置が世界中の何億もの非SAEスピーカーを体系的に不利にしていることを示している。
DIA-HARMフレームワーク、D3コーパス、評価ツールをリリースします。
関連論文リスト
- Benchmarking Bengali Dialectal Bias: A Multi-Stage Framework Integrating RAG-Based Translation and Human-Augmented RLAIF [0.3227658251731014]
大規模言語モデル(LLM)は、低リソース言語の方言に対する性能バイアスを頻繁に示している。
ベンガル方言9方言を対象に,LLM質問応答における方言バイアスを評価するための2段階の枠組みを提案する。
論文 参考訳（メタデータ） (2026-03-22T18:44:57Z) - DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation [111.94720088481614]
多モーダル生成モデルは方言テキスト入力を効果的に生成できるのか?
6つの共通英語方言にまたがる大規模ベンチマークを構築した。
マルチモーダル生成モデルのための一般的なエンコーダに基づく緩和戦略を設計する。
論文 参考訳（メタデータ） (2025-10-16T17:56:55Z) - GemDetox at TextDetox CLEF 2025: Enhancing a Massively Multilingual Model for Text Detoxification on Low-resource Languages [32.22353317193898]
PAN 2025 Multilingual Text Detoxification Challengeについて述べる。
パラメータ効率のよいLoRA SFT微調整を施し、少数ショットやチェーン・オブ・サートのような技法を推し進める。
当社のシステムは、まず、高リソースおよび低リソース言語にランク付けする。
論文 参考訳（メタデータ） (2025-09-24T10:06:40Z) - Multilingual Hate Speech Detection in Social Media Using Translation-Based Approaches with Large Language Models [4.66584517664999]
キーワードフィルタリングにより収集した英語,ウルドゥー語,スペイン語で10,193ツイートのトリリンガルデータセットを導入する。
GPT-3.5 Turbo と Qwen 2.5 72B をアテンション層に統合することで,高い性能を実現する。
我々のフレームワークは、多言語ヘイトスピーチ検出のための堅牢なソリューションを提供し、世界中のより安全なデジタルコミュニティを育む。
論文 参考訳（メタデータ） (2025-06-09T18:53:56Z) - "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。
NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。
本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
論文 参考訳（メタデータ） (2023-12-18T17:18:04Z) - DISCO: A Large Scale Human Annotated Corpus for Disfluency Correction in
Indo-European Languages [68.66827612799577]
ディフルエンシ補正(Disfluency correction, DC)とは、話し言葉からフィラー、繰り返し、訂正などの不適切な要素を取り除き、読みやすく解釈可能なテキストを作成する過程である。
Indo-Europeanの4つの重要な言語(英語、ヒンディー語、ドイツ語、フランス語)を網羅した、高品質な人間の注釈付きDCコーパスを提示する。
最新の機械翻訳(MT)システムと併用した場合,DCはBLEUスコアを平均5.65ポイント増加させることを示す。
論文 参考訳（メタデータ） (2023-10-25T16:32:02Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳（メタデータ） (2023-09-27T14:44:10Z) - Adversarial Training For Low-Resource Disfluency Correction [50.51901599433536]
ディフルエンシ補正(DC)のための逆学習型シーケンスタグ付けモデルを提案する。
提案手法の利点は,3つのインド語でDCに対して評価することで,合成された非流動データに大きく依存することを示す。
また,本手法は,音声障害によって導入されたASR文字の破面的不一致の除去にも有効である。
論文 参考訳（メタデータ） (2023-06-10T08:58:53Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - Leveraging neural representations for facilitating access to
untranscribed speech from endangered languages [10.61744395262441]
オーストラリア・アボリジニの7言語とオランダの地方種から選択したデータを用いている。
wav2vec 2.0 Transformerの中間層からの表現は、タスクパフォーマンスに大きな利益をもたらす。
予め訓練された英語モデルを用いて抽出された特徴は、すべての評価言語の検出を改善したが、より良い検出性能は、評価言語の英語との音韻学的類似性と関連していた。
論文 参考訳（メタデータ） (2021-03-26T16:44:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。