論文の概要: BanglaNirTox: A Large-scale Parallel Corpus for Explainable AI in Bengali Text Detoxification

• arxiv url: http://arxiv.org/abs/2511.01512v1
• Date: Mon, 03 Nov 2025 12:26:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.253581
• Title: BanglaNirTox: A Large-scale Parallel Corpus for Explainable AI in Bengali Text Detoxification
• Title（参考訳）: BanglaNirTox:ベンガル文字のデトックス化における説明可能なAIのための大規模並列コーパス
• Authors: Ayesha Afroza Mohsin, Mashrur Ahsan, Nafisa Maliyat, Shanta Maria, Syed Rifat Raiyan, Hasan Mahmud, Md Kamrul Hasan,
• Abstract要約: ベンガル語は、特にオンライン環境では広く使われているが、それに対する効果的な予防策はほとんどない。 本稿では,クラス最適化された大言語モデル (LLM) とChain-of-Thought (CoT) を組み合わせたベンガル文字のデトックス化のための新しいパイプラインを提案し,デトックス化文を生成する。
• 参考スコア（独自算出の注目度）: 2.3463446494162423
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Toxic language in Bengali remains prevalent, especially in online environments, with few effective precautions against it. Although text detoxification has seen progress in high-resource languages, Bengali remains underexplored due to limited resources. In this paper, we propose a novel pipeline for Bengali text detoxification that combines Pareto class-optimized large language models (LLMs) and Chain-of-Thought (CoT) prompting to generate detoxified sentences. To support this effort, we construct BanglaNirTox, an artificially generated parallel corpus of 68,041 toxic Bengali sentences with class-wise toxicity labels, reasonings, and detoxified paraphrases, using Pareto-optimized LLMs evaluated on random samples. The resulting BanglaNirTox dataset is used to fine-tune language models to produce better detoxified versions of Bengali sentences. Our findings show that Pareto-optimized LLMs with CoT prompting significantly enhance the quality and consistency of Bengali text detoxification.
• Abstract（参考訳）: ベンガル語は、特にオンライン環境では広く使われているが、それに対する効果的な予防策はほとんどない。 高リソース言語ではテキストの解毒が進んでいるが、限られた資源のためにベンガル語は未探索のままである。 本稿では,Paretoクラス最適化大言語モデル(LLM)とChain-of-Thought(CoT)を組み合わせたベンガル文字のデトックス化のための新しいパイプラインを提案する。 この取り組みを支援するために, ランダムサンプルを用いて評価したパレート最適化LLMを用いて, クラスワイド毒性ラベル, 推論, 解毒パラフレーズを含む68,041個のベンガル語文を人工的に生成した並列コーパスであるBanglaNirToxを構築した。 結果として得られたBanglaNirToxデータセットは、Bengali文のよりデトックス化されたバージョンを生成するために、言語モデルを微調整するために使用される。 以上の結果から,Pareto-Optimized LLMs with CoTはベンガル文字の解毒の質と一貫性を著しく向上させることが明らかとなった。

関連論文リスト

• GemDetox at TextDetox CLEF 2025: Enhancing a Massively Multilingual Model for Text Detoxification on Low-resource Languages [32.22353317193898]
  PAN 2025 Multilingual Text Detoxification Challengeについて述べる。 パラメータ効率のよいLoRA SFT微調整を施し、少数ショットやチェーン・オブ・サートのような技法を推し進める。 当社のシステムは、まず、高リソースおよび低リソース言語にランク付けする。
  論文  参考訳（メタデータ） (2025-09-24T10:06:40Z)
• <think> So let's replace this phrase with insult... </think> Lessons learned from generation of toxic texts with LLMs [60.169913160819]
  本稿では, 人為的データに代わる合成毒性データを用いた脱毒訓練モデルの可能性について検討する。 実験によると、合成データに微調整されたモデルは、人間のデータで訓練されたモデルよりも一貫してパフォーマンスが悪くなっている。 根本原因は、致命的な語彙の多様性のギャップとして認識される: LLMは、小さな反復的な侮辱の語彙を用いて、人間の毒性のニュアンスや多様性を捉えるのに失敗する有毒な内容を生成する。
  論文  参考訳（メタデータ） (2025-09-10T07:48:24Z)
• SynthDetoxM: Modern LLMs are Few-Shot Parallel Detoxification Data Annotators [61.82799141938912]
  既存の多言語テキストデトックス化へのアプローチは、並列多言語データセットの不足によって妨げられている。 本稿では,手動で収集・合成した多言語並列テキストデトックス化データセットであるSynthDetoxMを紹介する。
  論文  参考訳（メタデータ） (2025-02-10T12:30:25Z)
• Multilingual and Explainable Text Detoxification with Parallel Corpora [58.83211571400692]
  並列テキストデトックス化コーパスを新しい言語に拡張する。 本研究は, 有毒な文と非有毒な文の両方の記述的特徴について, 自動的, 説明可能な分析を行う。 そこで我々は,Chain-of-Thoughts推論手法に触発された新しいテキスト解毒法を実験した。
  論文  参考訳（メタデータ） (2024-12-16T12:08:59Z)
• Toxic Subword Pruning for Dialogue Response Generation on Large Language Models [51.713448010799986]
  toxPrune (textbfToxic Subword textbfPruning) を提案する。 ToxPruneは、明らかに対話応答生成のタスクにおいて、有害言語モデルNSFW-3Bを同時に改善する。
  論文  参考訳（メタデータ） (2024-10-05T13:30:33Z)
• MultiParaDetox: Extending Text Detoxification with Parallel Data to New Languages [71.50809576484288]
  テキスト・デトックス化(英: text detoxification)とは、テキストが有害な表面形態(例えば無作為な単語を特徴付けるような)から中性レジスタへパラフレーズ化されるタスクである。 並列テキストデトキシフィケーションコーパスコレクション(ParaDetoxとAPPADIA)の最近のアプローチはモノリンガル設定でのみ検討されている。 本研究では,ParaDetoxパイプラインをMultiParaDetoxを示す複数の言語に拡張し,任意の言語に対して並列デトキシフィケーションコーパスコレクションを自動化することを目的とする。
  論文  参考訳（メタデータ） (2024-04-02T15:32:32Z)
• Fine-Grained Detoxification via Instance-Level Prefixes for Large Language Models [26.474136481185724]
  インスタンスレベルのプレフィックス(FGDILP)によるきめ細かいデトックス化は、有害なテキストを余分なコストで軽減する。 FGDILPは、正のプレフィックス予測プロンプトを用いて、注意空間における文脈化された表現と対比する。 我々は、FGDILPが発話レベルと文脈レベルの両方において有害性に関して制御されたテキスト生成を可能にすることを検証した。
  論文  参考訳（メタデータ） (2024-02-23T09:04:48Z)
• Detoxifying Language Models with a Toxic Corpus [16.7345472998388]
  毒性を減らすため, 有害コーパスを添加資源として利用することを提案する。 その結果, 有害コーパスは, 言語生成過程の毒性を大幅に低下させる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-04-30T18:25:18Z)
• RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models [93.151822563361]
  事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2020-09-24T03:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。