論文の概要: AraDetox: A Multi-Dialect Arabic Detoxification Dataset
- arxiv url: http://arxiv.org/abs/2608.22894v1
- Date: Mon, 24 Aug 2026 07:24:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.931443
- Title: AraDetox: A Multi-Dialect Arabic Detoxification Dataset
- Title（参考訳）: AraDetox: 多次元アラビアデトキシフィケーションデータセット
- Abstract要約: このデータセットは、GPT-5とGemini 2.5 Flashを使って生成された10,500の有害なソーシャルメディアポストと84,000のデトックス化されたリライトで構成されている。
生成したアウトプットは,人的評価と語彙変化,意味保存,感情,方言スタイルの自動解析によって評価された。
以上の結果から, LLMによる生成と人為的検証により, 大規模アラビアデトキシ化資源の構築が可能であることが示唆された。
- 参考スコア（独自算出の注目度）: 2.0910011859259714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Arabic harmful-language detection has received considerable attention, yet Arabic text detoxification remains underexplored. We introduce AraDetox, a multi-dialect Arabic detoxification dataset comprising 10,500 harmful social-media posts and 84,000 detoxified rewrites generated using GPT-5 and Gemini 2.5 Flash across Modern Standard Arabic, Gulf, Levantine, and Egyptian Arabic. The generated outputs were assessed through human evaluation and automatic analyses of lexical change, semantic preservation, sentiment, and dialectal style. Results show that detoxification is primarily a meaning-preserving rewriting task: substantial lexical and structural reformulation is accompanied by consistently high semantic similarity. Human evaluation confirms successful harmful-language removal while largely preserving the original meaning. Dialectal analyses further indicate that the generated variants exhibit measurable stylistic alignment with reference Arabic dialect corpora. Comparison with existing resources highlights two complementary approaches to detoxification: minimal-edit lexical substitution and meaning-preserving reformulation. Our findings demonstrate that large-scale Arabic detoxification resources can be constructed through LLM-assisted generation and human verification. The dataset is publicly available at https://github.com/ArabicNLP-UK/AraDetox to support future research on Arabic detoxification, safe text generation, and multi-dialect Arabic NLP.
- Abstract（参考訳）: アラビア語の有害な言語検出は注目されているが、アラビア語の非毒性は未発見のままである。
AraDetoxは、10,500件の有害なソーシャルメディア投稿と84,000件のデトックス化リライトからなる多言語アラビア語のデトックスデータセットであり、現代標準アラビア語、ガルフ、レバンタイン、エジプトアラビア語でGPT-5およびGemini 2.5 Flashを用いて生成された。
生成したアウトプットは,人的評価と語彙変化,意味保存,感情,方言スタイルの自動解析によって評価された。
その結果、解毒は主として意味保存的な書き換え作業であり、実質的な語彙的および構造的再構成は、一貫して高い意味的類似性を伴うことが明らかとなった。
人間の評価は、本来の意味をほとんど保存しながら、有害な言語除去を成功させる。
方言分析は、生成された変種がアラビア方言のコーパスと測定可能なスタイルアライメントを示すことを示している。
既存の資源との比較では、最小編集の語彙置換と意味保存の改革という2つの相補的な解毒アプローチが強調されている。
以上の結果から, LLMによる生成と人為的検証により, 大規模アラビアデトキシ化資源の構築が可能であることが示唆された。
データセットはhttps://github.com/ArabicNLP-UK/AraDetoxで公開されている。
関連論文リスト
- ArabicDialectSafety: A Dialect-Aware Benchmark for Arabic Content Safety Classification [1.4665143197624044]
そこで本研究では,6種類のアラビア種を対象とする人為的アラビア安全データセット25,071件について紹介する。
データセットには、方言ラベルと7つのきめ細かい調和カテゴリが注釈付けされている。
教師付きおよび生成モデル7つをベンチマークした結果、微調整されたMARBERTv2が最も高い性能が得られることがわかった。
論文 参考訳（メタデータ） (2026-08-02T15:00:58Z) - Text Detoxification in isiXhosa and Yorùbá: A Cross-Lingual Machine Learning Approach for Low-Resource African Languages [0.0]
Toxic Languageは、安全なオンライン参加のための大きな障壁の1つだが、アフリカ言語では堅牢な緩和ツールが不足している。
本研究は,2つの低資源アフリカ言語isiXhosaとYorbの自動テキストデトックス化(中和に有害な)について検討した。
論文 参考訳（メタデータ） (2026-01-09T08:28:58Z) - Dhati+: Fine-tuned Large Language Models for Arabic Subjectivity Evaluation [0.0]
その重要性にもかかわらず、アラビア語は資金不足に直面している。
大きな注釈付きデータセットの不足は、アラビア語の主観分析のための正確なツールの開発を妨げている。
近年のディープラーニングとトランスフォーマーの進歩は、英語とフランス語のテキスト分類に非常に効果的であることが証明されている。
論文 参考訳（メタデータ） (2025-08-27T15:20:12Z) - Evaluating Text Style Transfer: A Nine-Language Benchmark for Text Detoxification [66.69370876902222]
本研究は,9言語にわたるテキストデトックス化システムの評価に関する総合的多言語研究である。
我々は,現代のニューラルベース評価モデルの有効性を,プロンプトベースLCM-as-a-judgeアプローチと併用して評価する。
本研究は,より信頼性の高い多言語TST評価パイプラインを設計するための実用的なレシピを提供する。
論文 参考訳（メタデータ） (2025-07-21T12:38:07Z) - Multilingual and Explainable Text Detoxification with Parallel Corpora [58.83211571400692]
並列テキストデトックス化コーパスを新しい言語に拡張する。
本研究は, 有毒な文と非有毒な文の両方の記述的特徴について, 自動的, 説明可能な分析を行う。
そこで我々は,Chain-of-Thoughts推論手法に触発された新しいテキスト解毒法を実験した。
論文 参考訳（メタデータ） (2024-12-16T12:08:59Z) - MultiParaDetox: Extending Text Detoxification with Parallel Data to New Languages [71.50809576484288]
テキスト・デトックス化(英: text detoxification)とは、テキストが有害な表面形態(例えば無作為な単語を特徴付けるような)から中性レジスタへパラフレーズ化されるタスクである。
並列テキストデトキシフィケーションコーパスコレクション(ParaDetoxとAPPADIA)の最近のアプローチはモノリンガル設定でのみ検討されている。
本研究では,ParaDetoxパイプラインをMultiParaDetoxを示す複数の言語に拡張し,任意の言語に対して並列デトキシフィケーションコーパスコレクションを自動化することを目的とする。
論文 参考訳（メタデータ） (2024-04-02T15:32:32Z) - Exploring Methods for Cross-lingual Text Style Transfer: The Case of
Text Detoxification [77.45995868988301]
テキスト・デトックス化(text detoxification)とは、テキストのスタイルを有害から中立に移行させる作業である。
本稿では,言語間テキストのデトックス化戦略を大規模に検討する。
論文 参考訳（メタデータ） (2023-11-23T11:40:28Z) - Detoxifying Text with MaRCo: Controllable Revision with Experts and
Anti-Experts [57.38912708076231]
本稿では,制御可能な生成法とテキスト書き直し法を組み合わせた解毒アルゴリズムMARCoを紹介する。
MaRCoは、毒性のないLMと毒性のあるLMの下の可能性を利用して、マスクすべき候補単語を見つけ、置換する可能性がある。
我々は,いくつかの微妙な毒性とマイクロアグレスデータセットについて評価し,自動測定値の基準値を上回るだけでなく,MARCoの書き直しは人間による評価で2.1ドル以上好まれることを示した。
論文 参考訳（メタデータ） (2022-12-20T18:50:00Z) - Graphemic Normalization of the Perso-Arabic Script [47.429213930688086]
本稿では,ペルソ・アラビア語が最良文書言語を超えて提示する課題について述べる。
自然言語処理(NLP)の状況に注目する。
ペルソ・アラビア文字ディアスポラの多言語語族8言語に対する正規化が機械翻訳および統計言語モデリングタスクに及ぼす影響を評価する。
論文 参考訳（メタデータ） (2022-10-21T21:59:44Z) - Offensive Language Detection in Under-resourced Algerian Dialectal
Arabic Language [0.0]
我々は、未資源の言語の1つであるアルジェリア方言のアラビア語に焦点を当てている。
同じ言語での作業が不足しているため、我々は8.7k以上のテキストを通常の、虐待的、攻撃的に手動で注釈付けした新しいコーパスを構築した。
論文 参考訳（メタデータ） (2022-03-18T15:42:21Z) - Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。
我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。
我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
論文 参考訳（メタデータ） (2021-01-29T22:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。