論文の概要: Measuring Sentiment Bias in Machine Translation
- arxiv url: http://arxiv.org/abs/2306.07152v1
- Date: Mon, 12 Jun 2023 14:40:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 14:22:14.480923
- Title: Measuring Sentiment Bias in Machine Translation
- Title(参考訳): 機械翻訳における感情バイアスの測定
- Authors: Kai Hartung, Aaricia Herygers, Shubham Kurlekar, Khabbab Zakaria,
Taylan Volkan, S\"oren Gr\"ottrup, Munir Georges
- Abstract要約: 生成モデルによってテキストに誘導されるバイアスは、近年ますます大きな話題となっている。
2つの並列コーパス上の5つの異なる言語に対する3つのオープンアクセス機械翻訳モデルを比較した。
我々の統計テストはラベルの確率分布の変化を示しているが、翻訳プロセスによって引き起こされるバイアスを仮定するのに十分な一貫性があるように見えるものは見つからない。
- 参考スコア(独自算出の注目度): 1.567333808864147
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Biases induced to text by generative models have become an increasingly large
topic in recent years. In this paper we explore how machine translation might
introduce a bias in sentiments as classified by sentiment analysis models. For
this, we compare three open access machine translation models for five
different languages on two parallel corpora to test if the translation process
causes a shift in sentiment classes recognized in the texts. Though our
statistic test indicate shifts in the label probability distributions, we find
none that appears consistent enough to assume a bias induced by the translation
process.
- Abstract(参考訳): 生成モデルによって引き起こされるテキストに対するバイアスは近年ますます大きな話題になっている。
本稿では,感情分析モデルによって分類される感情に機械翻訳がバイアスをもたらす可能性について検討する。
そこで本研究では,2つの並列コーパス上の5つの言語に対する3つのオープンアクセス機械翻訳モデルを比較し,翻訳プロセスがテキストで認識される感情クラスの変化を引き起こすかどうかを検証する。
統計的テストではラベルの確率分布の変化が示されるが、翻訳過程によって引き起こされるバイアスを想定するほど一貫性のあるものは見当たらない。
関連論文リスト
- Machine Translation Models are Zero-Shot Detectors of Translation
Direction [52.1701152610258]
平行テキストの翻訳方向を検出することは、機械翻訳訓練や評価に応用できるが、盗作や偽造の主張を解消するといった法医学的応用もある。
本研究では,翻訳文や機械翻訳文でよく知られた単純化効果によって動機付けられた,$p(texttranslation|text Origin)>p(textgenic|texttranslation)$という単純な仮説に基づいて,翻訳方向検出のための教師なしアプローチを検討する。
論文 参考訳(メタデータ) (2024-01-12T18:59:02Z) - Crossing the Threshold: Idiomatic Machine Translation through Retrieval
Augmentation and Loss Weighting [66.02718577386426]
慣用的な翻訳と関連する問題を簡易に評価する。
我々は,変圧器をベースとした機械翻訳モデルが慣用的な翻訳に対して正しくデフォルトとなる点を明らかにするための合成実験を行った。
自然慣用句の翻訳を改善するために, 単純かつ効果的な2つの手法を導入する。
論文 参考訳(メタデータ) (2023-10-10T23:47:25Z) - Lost In Translation: Generating Adversarial Examples Robust to
Round-Trip Translation [66.33340583035374]
本研究は, ラウンドトリップ翻訳における現在のテキスト対逆攻撃の堅牢性に関する包括的研究である。
筆者らは,現在最先端のテキストベースの6つの敵攻撃が,ラウンドトリップ翻訳後の有効性を維持していないことを実証した。
本稿では,機械翻訳を逆例生成のプロセスに組み込むことにより,この問題に対する介入に基づく解決策を提案する。
論文 参考訳(メタデータ) (2023-07-24T04:29:43Z) - Do GPTs Produce Less Literal Translations? [20.095646048167612]
大規模言語モデル(LLM)は多くの自然言語生成や理解タスクに対処できる汎用言語モデルとして登場した。
GPTからの英語(E-X)からの翻訳はリテラルが低い傾向にあり、機械翻訳の品質指標に類似またはより良いスコアが示されることがわかりました。
論文 参考訳(メタデータ) (2023-05-26T10:38:31Z) - An Evaluation of Persian-English Machine Translation Datasets with
Transformers [1.0742675209112622]
この研究はペルシア語と英語の翻訳に使われた最もポピュラーで価値のある平行コーパスを収集し分析した。
我々は、各データセット上で2つの最新アテンションベースセq2seqモデルを微調整し、評価した。
論文 参考訳(メタデータ) (2023-02-01T08:55:08Z) - Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。
我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。
実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
論文 参考訳(メタデータ) (2022-12-20T14:39:58Z) - How sensitive are translation systems to extra contexts? Mitigating
gender bias in Neural Machine Translation models through relevant contexts [11.684346035745975]
ますます多くの研究が、ニューラルマシン翻訳モデルがトレーニング中に導入する固有の性バイアスを強調している。
そこで本研究では,これらのモデルに対して,対象とした指示をコンテキストとして,推論中にバイアスを修正するように指示できるかどうかを検討する。
3つの一般的なテストスイート間で、翻訳における性別バイアスの低減に関する大幅な改善を観察する。
論文 参考訳(メタデータ) (2022-05-22T06:31:54Z) - Towards Debiasing Translation Artifacts [15.991970288297443]
確立されたバイアス除去手法を拡張して,翻訳文の削減のための新しい手法を提案する。
我々は、反復的ヌル空間投影(INLP)アルゴリズムを用いて、デバイアス前後の分類精度を計測することにより、文レベルと単語レベルの両方で翻訳文が削減されることを示す。
我々の知る限りでは、これは潜伏埋め込み空間で表現される翻訳語をデビアスする最初の研究である。
論文 参考訳(メタデータ) (2022-05-16T21:46:51Z) - Curious Case of Language Generation Evaluation Metrics: A Cautionary
Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。
これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。
本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文 参考訳(メタデータ) (2020-10-26T13:57:20Z) - Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。
自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。
また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
論文 参考訳(メタデータ) (2020-04-09T17:54:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。