論文の概要: Whose wife is it anyway? Assessing bias against same-gender
relationships in machine translation
- arxiv url: http://arxiv.org/abs/2401.04972v1
- Date: Wed, 10 Jan 2024 07:33:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 15:17:48.398054
- Title: Whose wife is it anyway? Assessing bias against same-gender
relationships in machine translation
- Title(参考訳): 誰の妻なの?
機械翻訳における同一性関係に対するバイアスの評価
- Authors: Ian Stewart and Rada Mihalcea
- Abstract要約: 機械翻訳は、しばしばバイアスのあるデータやアルゴリズムに悩まされる。
MTシステムにおける同性関係に対するバイアスの程度について検討する。
3つの一般的なMTサービスは、同じ性別の名詞間の関係に関する文を正確に翻訳することができない。
- 参考スコア(独自算出の注目度): 31.51497150354425
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine translation often suffers from biased data and algorithms that can
lead to unacceptable errors in system output. While bias in gender norms has
been investigated, less is known about whether MT systems encode bias about
social relationships, e.g. sentences such as "the lawyer kissed her wife." We
investigate the degree of bias against same-gender relationships in MT systems,
using generated template sentences drawn from several noun-gender languages
(e.g. Spanish). We find that three popular MT services consistently fail to
accurately translate sentences concerning relationships between nouns of the
same gender. The error rate varies considerably based on the context, e.g.
same-gender sentences referencing high female-representation occupations are
translated with lower accuracy. We provide this work as a case study in the
evaluation of intrinsic bias in NLP systems, with respect to social
relationships.
- Abstract(参考訳): 機械翻訳は、しばしば偏りのあるデータやアルゴリズムに苦しめられ、システム出力の誤りを許容できない。
性規範の偏見は研究されているが、MTシステムが「弁護士が妻にキスした」などの文など、社会的関係に関する偏見を符号化しているかどうかについては、あまり知られていない。
複数の名詞・ジェンダー言語(スペイン語など)から抽出されたテンプレート文を用いて,MTシステムにおける同性関係に対するバイアスの度合いを検討した。
3つの一般的なMTサービスは、同じ性別の名詞間の関係に関する文を正確に翻訳することができない。
エラー率は文脈によって大きく異なる。例えば、高い女性表現の職業を参照する同性文は、より低い精度で翻訳される。
本研究は,NLPシステムにおける本質的バイアス評価の事例研究として,社会関係に関する考察である。
関連論文リスト
- Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English
Machine Translation [0.0]
既存の評価ベンチマークは主に翻訳のソース言語としての英語に焦点を当てている。
英語以外のソース言語では、研究はしばしばバイアス評価のために性中立の文を用いる。
本研究は,ソースコード中の文法的ジェンダーマーカーを考慮に入れたバイアス評価テストセットの調整の重要性を強調した。
論文 参考訳(メタデータ) (2023-11-11T09:28:43Z) - Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for
Bias Evaluation in Machine Translation [0.0]
我々はヒンディー語をソース言語とし、ヒンディー語(HI-EN)の異なるNMTシステムを評価するために、ジェンダー特化文の2つのセットを構築した。
本研究は,そのような外部バイアス評価データセットを設計する際に,言語の性質を考えることの重要性を強調した。
論文 参考訳(メタデータ) (2023-11-07T07:09:59Z) - ''Fifty Shades of Bias'': Normative Ratings of Gender Bias in GPT
Generated English Text [11.085070600065801]
言語は、社会的信念システムの顕在化のための強力なツールとして機能する。
ジェンダーバイアスは、私たちの社会でもっとも普及しているバイアスの1つです。
我々は、GPT生成した英語テキストの最初のデータセットを作成し、男女バイアスの規範的評価を行う。
論文 参考訳(メタデータ) (2023-10-26T14:34:06Z) - A Tale of Pronouns: Interpretability Informs Gender Bias Mitigation for
Fairer Instruction-Tuned Machine Translation [35.44115368160656]
機械翻訳モデルがジェンダーバイアスを示すか否かについて検討する。
We found that IFT model default to male-inflected translations, evengarding female occupational stereotypes。
実装が容易で効果的なバイアス緩和ソリューションを提案する。
論文 参考訳(メタデータ) (2023-10-18T17:36:55Z) - Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender
Perturbation over Fairytale Texts [87.62403265382734]
近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。
本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
論文 参考訳(メタデータ) (2023-10-16T22:25:09Z) - VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution [80.57383975987676]
VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。
We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
論文 参考訳(メタデータ) (2023-06-21T17:59:51Z) - Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous
Pronouns [53.62845317039185]
バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。
本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。
事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
論文 参考訳(メタデータ) (2023-02-11T12:11:03Z) - Towards Understanding Gender-Seniority Compound Bias in Natural Language
Generation [64.65911758042914]
本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。
以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。
以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
論文 参考訳(メタデータ) (2022-05-19T20:05:02Z) - Gender Coreference and Bias Evaluation at WMT 2020 [16.814151914000856]
機械翻訳における性差は、素早い性相関に基づいて性差を選択する際に現れる。
我々の研究は、WMTに提出された19以上のシステムにおいて、この現象の最大の証拠を示す。
すべてのシステムは、意味のある文脈情報ではなく、データ内の刺激的な相関を一貫して利用している。
論文 参考訳(メタデータ) (2020-10-12T20:42:21Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳(メタデータ) (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。