Fugu-MT 論文翻訳(概要): ReSeTOX: Re-learning attention weights for toxicity mitigation in machine translation

論文の概要: ReSeTOX: Re-learning attention weights for toxicity mitigation in machine translation

arxiv url: http://arxiv.org/abs/2305.11761v1
Date: Fri, 19 May 2023 15:46:08 GMT
ステータス: 処理完了
システム内更新日: 2023-05-22 13:49:58.226720
Title: ReSeTOX: Re-learning attention weights for toxicity mitigation in machine translation
Title（参考訳）: ReSetoX: 機械翻訳における毒性軽減のための再学習注意重み
Authors: Javier Garc\'ia Gilabert, Carlos Escolano and Marta R. Costa-Juss\`a
Abstract要約: ReSetoXは、再トレーニングを必要とせずに有毒な言語の導入を緩和する。実験の結果, ReSeTOXは著明な57%の毒性低下を示した。
参考スコア（独自算出の注目度）: 2.2344764434954256
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Our proposed method, ReSeTOX (REdo SEarch if TOXic), addresses the issue of Neural Machine Translation (NMT) generating translation outputs that contain toxic words not present in the input. The objective is to mitigate the introduction of toxic language without the need for re-training. In the case of identified added toxicity during the inference process, ReSeTOX dynamically adjusts the key-value self-attention weights and re-evaluates the beam search hypotheses. Experimental results demonstrate that ReSeTOX achieves a remarkable 57% reduction in added toxicity while maintaining an average translation quality of 99.5% across 164 languages.
Abstract（参考訳）: 提案手法であるReSetoX (Redo SEarch if TOXic)は,入力に存在しない有毒な単語を含む翻訳出力を生成するニューラルネットワーク翻訳(NMT)の問題に対処する。目的は、再訓練を必要とせず、有害な言語の導入を緩和することである。 ReSeTOXは、推論過程中に毒性が同定された場合、キー値の自己注意重みを動的に調整し、ビーム探索仮説を再評価する。実験の結果、ReSeTOXは164言語で平均99.5%の翻訳品質を維持しながら、追加毒性の57%の顕著な減少を実現している。

関連論文リスト

PolygloToxicityPrompts: Multilingual Evaluation of Neural Toxic Degeneration in Large Language Models [27.996123856250065]
既存の毒性ベンチマークは圧倒的に英語に焦点を当てている。 PTP(PolygloToxicity Prompts)は、17言語にまたがる自然発生プロンプト425Kの大規模多言語毒性評価ベンチマークである。
論文参考訳（メタデータ） (2024-05-15T14:22:33Z)
Detoxifying Large Language Models via Knowledge Editing [57.0669577257301]
本稿では,Large Language Models (LLM) のデトックス化のための知識編集手法について検討する。我々は、強力な攻撃プロンプトを持つ9つの安全でないカテゴリをカバーするベンチマーク、SafeEditを構築した。いくつかの知識編集手法を用いて実験を行い、知識編集がLLMを解毒する可能性を示し、汎用性能に限られた影響を与えていることを示す。
論文参考訳（メタデータ） (2024-03-21T15:18:30Z)
Parameter-Efficient Detoxification with Contrastive Decoding [78.5124331048714]
Detoxification Generator (DETOXIGEN) は、不要なスタイルから退避する推論時間アルゴリズムである。実際の生成では、トレーニングされたデトキシファイタを使用して、生成元が各デコードステップでコントラストする好ましくないトークンを生成する。生成品質を損なうことなく,従来のデトキシフィケーション指標のアプローチを著しく上回っていることがわかった。
論文参考訳（メタデータ） (2024-01-13T01:46:20Z)
Unveiling the Implicit Toxicity in Large Language Models [77.90933074675543]
大きな言語モデル(LLM)のオープンエンドネスと、その優れた機能を組み合わせることで、悪意のある使用のために悪用された場合、新たな安全性上の問題が発生する可能性がある。 LLMは、単純なゼロショットプロンプトによる検出が極めて困難である様々な暗黙的な有毒な出力を生成することができることを示す。我々は,LLMの暗黙的毒性をさらに誘発する強化学習(RL)に基づく攻撃法を提案する。
論文参考訳（メタデータ） (2023-11-29T06:42:36Z)
Added Toxicity Mitigation at Inference Time for Multimodal and Massively Multilingual Translation [8.336852643944338]
翻訳の文脈で有毒性を加えることは、入力の中に存在するものよりも多くの有毒性を持つ翻訳出力を生成することを指す。 MinToxは、追加の毒性を特定し、推論時に作用するこの問題を軽減するための、新しいパイプラインである。
論文参考訳（メタデータ） (2023-11-11T11:02:02Z)
Facilitating Fine-grained Detection of Chinese Toxic Language: Hierarchical Taxonomy, Resources, and Benchmarks [18.44630180661091]
既存のデータセットには、有害な型や表現の詳細なアノテーションがない。ポストの毒性を検出するために語彙的知識を導入することが重要である。本稿では,中国語の有害な言語をきめ細かい検出を容易にする。
論文参考訳（メタデータ） (2023-05-08T03:50:38Z)
Detoxifying Text with MaRCo: Controllable Revision with Experts and Anti-Experts [57.38912708076231]
本稿では,制御可能な生成法とテキスト書き直し法を組み合わせた解毒アルゴリズムMARCoを紹介する。 MaRCoは、毒性のないLMと毒性のあるLMの下の可能性を利用して、マスクすべき候補単語を見つけ、置換する可能性がある。我々は,いくつかの微妙な毒性とマイクロアグレスデータセットについて評価し,自動測定値の基準値を上回るだけでなく,MARCoの書き直しは人間による評価で2.1ドル以上好まれることを示した。
論文参考訳（メタデータ） (2022-12-20T18:50:00Z)
Toxicity in Multilingual Machine Translation at Scale [3.4620477930009472]
大規模評価データセット(HOLISTICBIAS, 472k以上の文)を英語から164言語に翻訳する際に, 付加毒性を評価し, 解析した。自動毒性評価は、言語間での毒性が0%から5%に変化することを示している。有害度が最も高い出力言語は低リソースの言語であり、最も高い毒性を持つ人口軸は性的指向、性別、性別、能力である。
論文参考訳（メタデータ） (2022-10-06T17:26:27Z)
Detoxifying Language Models with a Toxic Corpus [16.7345472998388]
毒性を減らすため, 有害コーパスを添加資源として利用することを提案する。その結果, 有害コーパスは, 言語生成過程の毒性を大幅に低下させる可能性が示唆された。
論文参考訳（メタデータ） (2022-04-30T18:25:18Z)
Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
論文参考訳（メタデータ） (2021-01-29T22:03:17Z)
RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models [93.151822563361]
事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
論文参考訳（メタデータ） (2020-09-24T03:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。