論文の概要: Gender Bias Amplification During Speed-Quality Optimization in Neural
Machine Translation
- arxiv url: http://arxiv.org/abs/2106.00169v1
- Date: Tue, 1 Jun 2021 01:32:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-02 14:27:03.963214
- Title: Gender Bias Amplification During Speed-Quality Optimization in Neural
Machine Translation
- Title(参考訳): ニューラルマシン翻訳における速度品質最適化時のジェンダーバイアス増幅
- Authors: Adithya Renduchintala, Denise Diaz, Kenneth Heafield, Xian Li, Mona
Diab
- Abstract要約: 我々は,ニューラルマシン翻訳(NMT)モデルが高速に最適化され,BLEUを用いた汎用テストセットで評価される場合,バイアスが増幅されるかどうかを検討する。
本研究は, 男女差テストセットであるSimpleGENを構築し, 性別付き名詞句を1つ, 曖昧で, 正解が1つ存在する。
速度最適化を適用すると、BLEUの全体的な劣化は最小限に抑えられるが、性別付き名詞翻訳性能ははるかに高速に低下する。
- 参考スコア(独自算出の注目度): 24.225893019633244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Is bias amplified when neural machine translation (NMT) models are optimized
for speed and evaluated on generic test sets using BLEU? We investigate
architectures and techniques commonly used to speed up decoding in
Transformer-based models, such as greedy search, quantization, average
attention networks (AANs) and shallow decoder models and show their effect on
gendered noun translation. We construct a new gender bias test set, SimpleGEN,
based on gendered noun phrases in which there is a single, unambiguous, correct
answer. While we find minimal overall BLEU degradation as we apply speed
optimizations, we observe that gendered noun translation performance degrades
at a much faster rate.
- Abstract(参考訳): ニューラルネットワーク翻訳(NMT)モデルが速度に最適化され、BLEUを用いたジェネリックテストセットで評価された場合、バイアスは増幅されるか?
本稿では,ゲーディ検索,量子化,平均アテンションネットワーク(AAN)や浅層デコーダモデルなどのトランスフォーマーモデルにおいて,デコーディングの高速化によく用いられるアーキテクチャや手法について検討し,その効果を示す。
本研究は, 男女差テストセットであるSimpleGENを構築し, 性別付き名詞句を1つ, 曖昧で, 正解が1つ存在する。
速度最適化を適用するとBLEU全体の劣化は最小限に抑えられるが、性別付き名詞翻訳性能ははるかに高速に低下する。
関連論文リスト
- The power of Prompts: Evaluating and Mitigating Gender Bias in MT with LLMs [1.707677607445317]
本稿では,Large Language Models (LLM) のレンズを用いた機械翻訳における性別バイアスについて検討する。
4つの広く使われているテストセットを使用して、様々なベースLLMをベンチマークし、それらの翻訳品質と性別バイアスを、カタルーニャ語(En $rightarrow$Ca)とスペイン語(En $rightarrow$Es)の英語(En $rightarrow$Es)の最先端のニューラルネットワーク翻訳(NMT)モデルと比較する。
以上の結果から,NMTモデルと比較すると,LLMは高い偏差を示し,全モデルにまたがる性的偏差が認められた。
論文 参考訳(メタデータ) (2024-07-26T14:47:31Z) - An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。
ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
論文 参考訳(メタデータ) (2024-03-30T15:29:49Z) - A Tale of Pronouns: Interpretability Informs Gender Bias Mitigation for
Fairer Instruction-Tuned Machine Translation [35.44115368160656]
機械翻訳モデルがジェンダーバイアスを示すか否かについて検討する。
We found that IFT model default to male-inflected translations, evengarding female occupational stereotypes。
実装が容易で効果的なバイアス緩和ソリューションを提案する。
論文 参考訳(メタデータ) (2023-10-18T17:36:55Z) - A Simple yet Effective Self-Debiasing Framework for Transformer Models [49.09053367249642]
現在のTransformerベースの自然言語理解(NLU)モデルは、データセットバイアスに大きく依存している。
本稿では,トランスフォーマーベースNLUモデルのための簡易かつ効果的な自己退化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-02T20:31:58Z) - TranSFormer: Slow-Fast Transformer for Machine Translation [52.12212173775029]
本稿では,TrantextbfSFormerと呼ばれる2ストリーム学習モデルを提案する。
我々のTranSFormerは、複数の機械翻訳ベンチマークにおいて、BLEUの一貫性のある改善(BLEU点よりも大きい)を示す。
論文 参考訳(メタデータ) (2023-05-26T14:37:38Z) - Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
ソースの文脈化表現に分類を導入する。
主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。
MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
論文 参考訳(メタデータ) (2022-10-13T04:07:08Z) - How sensitive are translation systems to extra contexts? Mitigating
gender bias in Neural Machine Translation models through relevant contexts [11.684346035745975]
ますます多くの研究が、ニューラルマシン翻訳モデルがトレーニング中に導入する固有の性バイアスを強調している。
そこで本研究では,これらのモデルに対して,対象とした指示をコンテキストとして,推論中にバイアスを修正するように指示できるかどうかを検討する。
3つの一般的なテストスイート間で、翻訳における性別バイアスの低減に関する大幅な改善を観察する。
論文 参考訳(メタデータ) (2022-05-22T06:31:54Z) - Investigating Failures of Automatic Translation in the Case of
Unambiguous Gender [13.58884863186619]
トランスフォーマーベースのモデルは、ニューラルマシン翻訳(NMT)のための現代の作業馬です。
我々は、名詞の性別をマークしない言語から他の名詞に翻訳することに関して、トランスフォーマーモデルによる体系的で初歩的なエラーのクラスを観察する。
トランスベースのNMTモデルがジェンダーを正しく翻訳する能力を測定するための評価スキームとデータセットをリリースします。
論文 参考訳(メタデータ) (2021-04-16T00:57:36Z) - Decoding and Diversity in Machine Translation [90.33636694717954]
NMTが楽しむBLEUスコアに対して支払う費用の多様性の違いを特徴付ける。
本研究は,ジェンダー代名詞を翻訳する際に,検索が既知バイアスの正解源となることを示唆する。
論文 参考訳(メタデータ) (2020-11-26T21:09:38Z) - Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。
実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
論文 参考訳(メタデータ) (2020-06-25T13:43:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。