論文の概要: MiTTenS: A Dataset for Evaluating Misgendering in Translation
- arxiv url: http://arxiv.org/abs/2401.06935v1
- Date: Sat, 13 Jan 2024 00:08:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 20:57:40.366331
- Title: MiTTenS: A Dataset for Evaluating Misgendering in Translation
- Title(参考訳): MiTTenS: 翻訳における誤認識を評価するデータセット
- Authors: Kevin Robinson, Sneha Kudugunta, Romina Stella, Sunipa Dev, Jasmijn
Bastings
- Abstract要約: ミスジェンダー(英: missgendering)とは、性同一性を反映しない方法で誰かを指す行為である。
さまざまな言語ファミリーやスクリプトから26言語をカバーするデータセットMiTTenSを紹介した。
- 参考スコア(独自算出の注目度): 16.446952262028358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Misgendering is the act of referring to someone in a way that does not
reflect their gender identity. Translation systems, including foundation models
capable of translation, can produce errors that result in misgendering harms.
To measure the extent of such potential harms when translating into and out of
English, we introduce a dataset, MiTTenS, covering 26 languages from a variety
of language families and scripts, including several traditionally
underpresented in digital resources. The dataset is constructed with
handcrafted passages that target known failure patterns, longer synthetically
generated passages, and natural passages sourced from multiple domains. We
demonstrate the usefulness of the dataset by evaluating both dedicated neural
machine translation systems and foundation models, and show that all systems
exhibit errors resulting in misgendering harms, even in high resource
languages.
- Abstract(参考訳): ミスジェンダー(英: missgendering)とは、性同一性を反映しない方法で誰かを指す行為である。
翻訳可能な基礎モデルを含む翻訳システムは、誤訳の被害をもたらすエラーを発生させることができる。
英語の翻訳や翻訳を行う際の潜在的な害の程度を測定するために,従来デジタルリソースに不足していたものを含む,さまざまな言語ファミリーやスクリプトから26の言語をカバーしたデータセットMiTTenSを導入する。
データセットは、既知の障害パターン、より長い合成された通路、複数のドメインから派生した自然通路をターゲットにした手作りの通路で構築されている。
我々は、ニューラルネットワーク翻訳システムと基礎モデルの両方を評価し、データセットの有用性を実証し、高いリソース言語であっても、すべてのシステムが誤りを犯すことを示す。
関連論文リスト
- Reducing Gender Bias in Machine Translation through Counterfactual Data
Generation [0.0]
訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳詞 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語 訳語
また,反実データ生成技術を用いて作成したドメイン内データを活用する新しいドメイン適応手法を提案する。
関連するコードはGithubで入手できる。
論文 参考訳(メタデータ) (2023-11-27T23:03:01Z) - Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in
Multilingual Machine Translation [28.471506840241602]
ジェンダーバイアスは機械翻訳において重要な問題であり、バイアス軽減技術の研究が進行中である。
本稿では,新しいアプローチに基づくバイアス緩和手法を提案する。
Gender-Aware Contrastive Learning, GACLは、文脈性情報を非明示性単語の表現にエンコードする。
論文 参考訳(メタデータ) (2023-05-23T12:53:39Z) - GATE: A Challenge Set for Gender-Ambiguous Translation Examples [0.31498833540989407]
ソースの性別が曖昧である場合、機械翻訳モデルは、通常、ステレオタイプなジェンダーロールにデフォルトされ、有害なバイアスが持続する。
最近の研究は、このような曖昧な入力に対して代替性翻訳を生成する「ジェンダーリフレクタ」の開発に繋がっているが、そのようなシステムは言語に乏しい範囲で悩まされている。
我々は、ジェンダー・あいまいなソース文の言語学的に多様なコーパスであるGATEと、複数の代替ターゲット言語翻訳を提示、リリースする。
論文 参考訳(メタデータ) (2023-03-07T15:23:38Z) - Analyzing Gender Representation in Multilingual Models [59.21915055702203]
実践的なケーススタディとして,ジェンダーの区別の表現に焦点をあてる。
ジェンダーの概念が、異なる言語で共有された部分空間にエンコードされる範囲について検討する。
論文 参考訳(メタデータ) (2022-04-20T00:13:01Z) - Evaluating Gender Bias in Hindi-English Machine Translation [0.1503974529275767]
我々は,ヒンディー語の文法的考察に基づいて,TGBI計量の修正版を実装した。
我々は、事前学習した埋め込みのための複数のメトリクスと、機械翻訳モデルで学習したメトリクスを比較して比較する。
論文 参考訳(メタデータ) (2021-06-16T10:35:51Z) - Investigating Failures of Automatic Translation in the Case of
Unambiguous Gender [13.58884863186619]
トランスフォーマーベースのモデルは、ニューラルマシン翻訳(NMT)のための現代の作業馬です。
我々は、名詞の性別をマークしない言語から他の名詞に翻訳することに関して、トランスフォーマーモデルによる体系的で初歩的なエラーのクラスを観察する。
トランスベースのNMTモデルがジェンダーを正しく翻訳する能力を測定するための評価スキームとデータセットをリリースします。
論文 参考訳(メタデータ) (2021-04-16T00:57:36Z) - Curious Case of Language Generation Evaluation Metrics: A Cautionary
Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。
これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。
本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文 参考訳(メタデータ) (2020-10-26T13:57:20Z) - Mitigating Gender Bias in Captioning Systems [56.25457065032423]
ほとんどのキャプションモデルは性別バイアスを学習し、特に女性にとって高い性別予測エラーにつながる。
本稿では, 視覚的注意を自己指導し, 正しい性的な視覚的証拠を捉えるためのガイド付き注意画像キャプチャーモデル(GAIC)を提案する。
論文 参考訳(メタデータ) (2020-06-15T12:16:19Z) - Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。
我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
論文 参考訳(メタデータ) (2020-05-02T04:34:37Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳(メタデータ) (2020-05-01T21:23:20Z) - XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。
提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文 参考訳(メタデータ) (2020-05-01T12:22:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。