論文の概要: Breaking mBad! Supervised Fine-tuning for Cross-Lingual Detoxification

• arxiv url: http://arxiv.org/abs/2505.16722v2
• Date: Mon, 30 Jun 2025 22:55:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-02 17:57:15.560968
• Title: Breaking mBad! Supervised Fine-tuning for Cross-Lingual Detoxification
• Title（参考訳）: クロスリンガルデトキシ化のための微調整を改良したmBad!
• Authors: Himanshu Beniwal, Youngwoo Kim, Maarten Sap, Soham Dan, Thomas Hartvigsen,
• Abstract要約: クロス・リンガル・デトキシフィケーション(Cross-lingual Detoxification)は、大規模言語モデルにおいて毒性を緩和するパラダイムである。 本研究では, クロスディストリビューション設定における毒性低下を解析し, 非有害タスクに対するモデル性能への影響について検討する。
• 参考スコア（独自算出の注目度）: 31.7516400680833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) become increasingly prevalent in global applications, ensuring that they are toxicity-free across diverse linguistic contexts remains a critical challenge. We explore "Cross-lingual Detoxification", a cross-lingual paradigm that mitigates toxicity, enabling detoxification capabilities to transfer between high and low-resource languages across different script families. We analyze cross-lingual detoxification's effectiveness through 392 extensive settings to evaluate toxicity reduction in cross-distribution settings with limited data and investigate how mitigation impacts model performance on non-toxic tasks, revealing trade-offs between safety and knowledge preservation. Our code and dataset are publicly available at https://github.com/himanshubeniwal/Breaking-mBad.
• Abstract（参考訳）: 大規模言語モデル(LLM)がグローバルなアプリケーションでますます普及するにつれて、様々な言語文脈で毒性のない言語であることを保証することは、依然として重要な課題である。 これは、毒性を緩和し、異なるスクリプトファミリ間で高レベルの言語と低レベルの言語間でのデトックス化を可能にする言語横断パラダイムである。 我々は,392の広範囲な設定による言語間脱毒効果の分析を行い,限定データを用いたクロスディストリビューション・セッティングの毒性低下を評価するとともに,非有害なタスクに対するモデル性能への影響について検討し,安全性と知識保存のトレードオフを明らかにする。 私たちのコードとデータセットはhttps://github.com/himanshubeniwal/Breaking-mBad.comで公開されています。

関連論文リスト

• GloSS over Toxicity: Understanding and Mitigating Toxicity in LLMs via Global Toxic Subspace [62.68664365246247]
  本稿では,大規模言語モデル(LLM)の毒性発生機構について検討する。 GloSS(Global Toxic Subspace Suppression)は,FFNのパラメータからグローバルな毒性部分空間を同定・除去することにより毒性を緩和する軽量な4段階法である。
  論文  参考訳（メタデータ） (2025-05-20T08:29:11Z)
• Cross-Lingual Transfer of Debiasing and Detoxification in Multilingual LLMs: An Extensive Investigation [6.781972039785424]
  近年のジェネレーティブ・大型言語モデル(LLM)は英語以外の言語では顕著な性能を示した。 これらの言語で刺激されると、より有害な社会的偏見と毒性のレベルを表現する傾向がある。 異なる微調整法がモデルのバイアスや毒性に与える影響について検討するが、その効果は、流動的で多様なテキストを生成する能力にも及んでいる。
  論文  参考訳（メタデータ） (2024-12-18T17:05:08Z)
• PolygloToxicityPrompts: Multilingual Evaluation of Neural Toxic Degeneration in Large Language Models [27.996123856250065]
  既存の毒性ベンチマークは圧倒的に英語に焦点を当てている。 PTP(PolygloToxicity Prompts)は、17言語にまたがる自然発生プロンプト425Kの大規模多言語毒性評価ベンチマークである。
  論文  参考訳（メタデータ） (2024-05-15T14:22:33Z)
• Detoxifying Large Language Models via Knowledge Editing [57.0669577257301]
  本稿では,Large Language Models (LLM) のデトックス化のための知識編集手法について検討する。 我々は、強力な攻撃プロンプトを持つ9つの安全でないカテゴリをカバーするベンチマーク、SafeEditを構築した。 いくつかの知識編集手法を用いて実験を行い、知識編集がLLMを解毒する可能性を示し、汎用性能に限られた影響を与えていることを示す。
  論文  参考訳（メタデータ） (2024-03-21T15:18:30Z)
• From One to Many: Expanding the Scope of Toxicity Mitigation in Language Models [10.807067327137855]
  言語モデルが多言語機能を取り入れているため、私たちの安全対策はペースを保ちます。 言語間で十分なアノテートされたデータセットがないため、私たちは翻訳データを用いて緩和手法を評価し、強化する。 これにより,翻訳品質と言語間移動が毒性軽減に及ぼす影響を検討することができる。
  論文  参考訳（メタデータ） (2024-03-06T17:51:43Z)
• Unveiling the Implicit Toxicity in Large Language Models [77.90933074675543]
  大きな言語モデル(LLM)のオープンエンドネスと、その優れた機能を組み合わせることで、悪意のある使用のために悪用された場合、新たな安全性上の問題が発生する可能性がある。 LLMは、単純なゼロショットプロンプトによる検出が極めて困難である様々な暗黙的な有毒な出力を生成することができることを示す。 我々は,LLMの暗黙的毒性をさらに誘発する強化学習(RL)に基づく攻撃法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T06:42:36Z)
• Exploring Methods for Cross-lingual Text Style Transfer: The Case of Text Detoxification [77.45995868988301]
  テキスト・デトックス化(text detoxification)とは、テキストのスタイルを有害から中立に移行させる作業である。 本稿では,言語間テキストのデトックス化戦略を大規模に検討する。
  論文  参考訳（メタデータ） (2023-11-23T11:40:28Z)
• Language Detoxification with Attribute-Discriminative Latent Space [59.167432249229584]
  トランスフォーマーベースの言語モデル(LM)は、自然言語理解タスクにおいて印象的な結果を得た。 また、侮辱、脅し、暴言などの有毒なテキストを生成でき、現実世界の応用を制限できる。 本稿では,属性識別型潜在空間を用いた効果的かつ効率的な言語解毒法を提案する。
  論文  参考訳（メタデータ） (2022-10-19T06:54:42Z)
• Exploring Cross-lingual Textual Style Transfer with Large Multilingual Language Models [78.12943085697283]
  デトキシフィケーション(detoxification)とは、本来の有毒なテキストの意味と流布を保ちつつ、丁寧なスタイルでテキストを生成するタスクである。 本研究は,多言語および多言語間の解毒と,このような大規模多言語モデルの挙動について検討する。
  論文  参考訳（メタデータ） (2022-06-05T20:02:30Z)
• Reward Modeling for Mitigating Toxicity in Transformer-based Language Models [0.0]
  トランスフォーマーベースの言語モデルでは、流動的なテキストを生成し、さまざまな自然言語生成タスクに効率よく適応することができる。 大規模未ラベルのウェブテキストコーパスで事前訓練された言語モデルは、有害な内容の変性や社会的偏見の振る舞いに悩まされていることが示されている。 言語モデルにおける毒性を緩和する強化学習に基づく手法であるReinforce-Detoxifyを提案する。
  論文  参考訳（メタデータ） (2022-02-19T19:26:22Z)
• Detoxifying Language Models Risks Marginalizing Minority Voices [40.918564746367586]
  言語モデル(LM)は、実際にデプロイされるには、安全かつ公平でなければなりません。 有毒なLM生成を緩和する解毒技術が提案されている。 現在の解毒技術は公平性を損なうことを示し、限界群が使用する言語に対するlmsの有用性を低下させる。
  論文  参考訳（メタデータ） (2021-04-13T17:52:01Z)
• Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
  バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。 我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。 我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
  論文  参考訳（メタデータ） (2021-01-29T22:03:17Z)
• RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models [93.151822563361]
  事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2020-09-24T03:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。