論文の概要: What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study

• arxiv url: http://arxiv.org/abs/2410.00545v1
• Date: Mon, 7 Oct 2024 08:52:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 04:57:03.281622
• Title: What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study
• Title（参考訳）: 人間中心学習による機械翻訳におけるジェンダーバイアスの有形影響の定量化
• Authors: Beatrice Savoldi, Sara Papi, Matteo Negri, Ana Guerberof, Luisa Bentivogli,
• Abstract要約: 機械翻訳(MT)におけるジェンダーバイアスは、人や社会に害を与える問題として認識されている。 我々は、MTの偏見が具体的なコストにどの程度の損害をもたらすかを調べるために、広範囲にわたる人間中心の研究を行う。
• 参考スコア（独自算出の注目度）: 18.464888281674806
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Gender bias in machine translation (MT) is recognized as an issue that can harm people and society. And yet, advancements in the field rarely involve people, the final MT users, or inform how they might be impacted by biased technologies. Current evaluations are often restricted to automatic methods, which offer an opaque estimate of what the downstream impact of gender disparities might be. We conduct an extensive human-centered study to examine if and to what extent bias in MT brings harms with tangible costs, such as quality of service gaps across women and men. To this aim, we collect behavioral data from 90 participants, who post-edited MT outputs to ensure correct gender translation. Across multiple datasets, languages, and types of users, our study shows that feminine post-editing demands significantly more technical and temporal effort, also corresponding to higher financial costs. Existing bias measurements, however, fail to reflect the found disparities. Our findings advocate for human-centered approaches that can inform the societal impact of bias.
• Abstract（参考訳）: 機械翻訳(MT)におけるジェンダーバイアスは、人や社会に害を与える問題として認識されている。 しかし、この分野の進歩には、人々、最後のMTユーザー、あるいは偏見のある技術によってどのように影響を受けるかを伝えることはめったにない。 現在の評価は、しばしば、性別格差の下流への影響を不透明に見積もる自動手法に制限される。 我々は、MTにおける偏見が、女性と男性間のサービスギャップの質など、具体的なコストにどの程度の害をもたらすかを調べるために、広範囲にわたる人間中心の研究を行う。 この目的のために, MT出力を後編集した90人の参加者から行動データを収集し, 正しい性翻訳を確実にする。 複数のデータセット、言語、タイプのユーザーに対して、女性の編集後要求は、より技術的、時間的努力が大幅に増加し、財務コストも上昇した。 しかし、既存のバイアス測定は、見いだされた格差を反映することができない。 我々の研究は、偏見の社会的影響を知らせる人間中心のアプローチを提唱する。

関連論文リスト

• Revealing and Reducing Gender Biases in Vision and Language Assistants (VLAs) [82.57490175399693]
  画像・テキスト・ビジョン言語アシスタント(VLA)22種における性別バイアスの検討 以上の結果から,VLAは実世界の作業不均衡など,データ中の人間のバイアスを再現する可能性が示唆された。 これらのモデルにおける性別バイアスを排除するため、微調整に基づくデバイアス法は、下流タスクにおけるデバイアスとパフォーマンスの最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2024-10-25T05:59:44Z)
• Watching the Watchers: Exposing Gender Disparities in Machine Translation Quality Estimation [28.01631390361754]
  男性求心性翻訳は女性求心性翻訳よりも高く、性中立性翻訳はペナル化される。 コンテキスト対応のQEメトリクスは、男性らしい参照のエラーを減らすが、女性参照の対処に失敗する。 この結果から,QE指標の男女差に対処する必要性が示唆された。
  論文  参考訳（メタデータ） (2024-10-14T18:24:52Z)
• GOSt-MT: A Knowledge Graph for Occupation-related Gender Biases in Machine Translation [2.3154290513589784]
  機械翻訳(MT)システムにおけるジェンダーバイアスは、しばしば有害なステレオタイプを補強する重大な課題を引き起こす。 本稿では,GOSt-MTナレッジグラフの作成を通じて,職業関連性バイアスを研究する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:44:20Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• Gender Bias in Transformer Models: A comprehensive survey [1.1011268090482573]
  人工知能(AI)におけるジェンダーバイアスは、個人の生活に深く影響する懸念として浮上している。 本稿では,トランスフォーマーモデルにおけるジェンダーバイアスを言語学的観点から調査する。
  論文  参考訳（メタデータ） (2023-06-18T11:40:47Z)
• Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation [64.65911758042914]
  本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。 以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。 以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:05:02Z)
• Examining Covert Gender Bias: A Case Study in Turkish and English Machine Translation Models [7.648784748888186]
  我々は,機械翻訳モデルにおいて,過剰性差と隠蔽性バイアスの両方の症例について検討した。 具体的には、非対称性マーキングを調査する手法を提案する。 また、人格の属性の偏りを評価し、職業的・人格的ステレオタイプについて検討する。
  論文  参考訳（メタデータ） (2021-08-23T19:25:56Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Evaluating Gender Bias in Natural Language Inference [5.034017602990175]
  推論による自然言語理解における性別バイアスの評価手法を提案する。 チャレンジタスクを使用して、職業を用いたジェンダーステレオタイプの存在に関する最先端のNLIモデルを調査します。 その結果,mnliとsnliデータセットでトレーニングされた3モデルでは,性別による予測誤差が有意に高いことが示唆された。
  論文  参考訳（メタデータ） (2021-05-12T09:41:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。