論文の概要: You Cannot Feed Two Birds with One Score: the Accuracy-Naturalness Tradeoff in Translation
- arxiv url: http://arxiv.org/abs/2503.24013v2
- Date: Tue, 01 Apr 2025 08:31:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-02 10:23:36.614372
- Title: You Cannot Feed Two Birds with One Score: the Accuracy-Naturalness Tradeoff in Translation
- Title（参考訳）: 1つのスコアで2羽の鳥に餌をやることはできない:翻訳における正確さと自然さのトレードオフ
- Authors: Gergely Flamich, David Vilar, Jan-Thorsten Peter, Markus Freitag,
- Abstract要約: 我々は,情報理論の最近の進歩を数学的に証明し,そのような単一スコアの要約がシステムの性能の完全な図面を与えていないことを実証するために構築した。
例えば、特定の精度のメートル法(BLEUなど)に翻訳システムを最適化することは、当初はシステムの自然性を改善するが、"オーバーフィッティング"のシステムは、その自然性を大幅に低下させる。
- 参考スコア（独自算出の注目度）: 21.568606037252774
- License:
- Abstract: The goal of translation, be it by human or by machine, is, given some text in a source language, to produce text in a target language that simultaneously 1) preserves the meaning of the source text and 2) achieves natural expression in the target language. However, researchers in the machine translation community usually assess translations using a single score intended to capture semantic accuracy and the naturalness of the output simultaneously. In this paper, we build on recent advances in information theory to mathematically prove and empirically demonstrate that such single-score summaries do not and cannot give the complete picture of a system's true performance. Concretely, we prove that a tradeoff exists between accuracy and naturalness and demonstrate it by evaluating the submissions to the WMT24 shared task. Our findings help explain well-known empirical phenomena, such as the observation that optimizing translation systems for a specific accuracy metric (like BLEU) initially improves the system's naturalness, while ``overfitting'' the system to the metric can significantly degrade its naturalness. Thus, we advocate for a change in how translations are evaluated: rather than comparing systems using a single number, they should be compared on an accuracy-naturalness plane.
- Abstract（参考訳）: 翻訳のゴールは、人間か機械かで、ソース言語でテキストを与えられたとき、同時にターゲット言語でテキストを生成することである。
1) 原文の意味を保存し,
2) 対象言語における自然な表現を実現する。
しかし、機械翻訳コミュニティの研究者は通常、意味的精度と出力の自然さを同時に捉えることを意図した単一のスコアを使用して翻訳を評価する。
本稿では,情報理論の最近の進歩を基礎として,そのような単一スコアの要約がシステムの性能の完全な図面を与えていないことを数学的に証明し,実証的に示す。
具体的には、精度と自然性の間にトレードオフが存在することを証明し、WMT24共有タスクへの提案を評価することでそれを実証する。
BLEUのような)特定の精度のメートル法に翻訳システムを最適化することは、当初はシステムの自然性を改善するが、'オーバーフィッティング'は、その自然性を大幅に低下させる。
そこで我々は,翻訳の評価方法の変更を提唱する。単一の数を用いてシステムを比較するのではなく,精度-自然性平面上で比較すべきである。
関連論文リスト
- Multi-perspective Alignment for Increasing Naturalness in Neural Machine Translation [11.875491080062233]
ニューラルマシン翻訳(NMT)システムは、トレーニングデータに存在する語彙バイアスを増幅し、出力翻訳において人工的に不十分な言語を生み出す。
自然とコンテンツ保存の両方に報いる新しい方法を提案する。
本手法は英蘭文翻訳において評価され,翻訳精度を損なうことなく,語彙的に豊かで,人文言語の性質が向上する翻訳モデルが得られた。
論文 参考訳（メタデータ） (2024-12-11T15:42:22Z) - Prosody in Cascade and Direct Speech-to-Text Translation: a case study
on Korean Wh-Phrases [79.07111754406841]
本研究は,韻律が重要な役割を果たす発話を明瞭にするための直接S2TTシステムの能力を評価するために,コントラスト評価を用いることを提案する。
本結果は,カスケード翻訳モデルよりも直接翻訳システムの価値を明確に示すものである。
論文 参考訳（メタデータ） (2024-02-01T14:46:35Z) - Crossing the Threshold: Idiomatic Machine Translation through Retrieval
Augmentation and Loss Weighting [66.02718577386426]
慣用的な翻訳と関連する問題を簡易に評価する。
我々は,変圧器をベースとした機械翻訳モデルが慣用的な翻訳に対して正しくデフォルトとなる点を明らかにするための合成実験を行った。
自然慣用句の翻訳を改善するために, 単純かつ効果的な2つの手法を導入する。
論文 参考訳（メタデータ） (2023-10-10T23:47:25Z) - Towards Debiasing Translation Artifacts [15.991970288297443]
確立されたバイアス除去手法を拡張して,翻訳文の削減のための新しい手法を提案する。
我々は、反復的ヌル空間投影(INLP)アルゴリズムを用いて、デバイアス前後の分類精度を計測することにより、文レベルと単語レベルの両方で翻訳文が削減されることを示す。
我々の知る限りでは、これは潜伏埋め込み空間で表現される翻訳語をデビアスする最初の研究である。
論文 参考訳（メタデータ） (2022-05-16T21:46:51Z) - Bridging the Data Gap between Training and Inference for Unsupervised
Neural Machine Translation [49.916963624249355]
UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。
トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。
本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-16T04:50:27Z) - Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。
我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。
ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
論文 参考訳（メタデータ） (2021-07-23T17:11:27Z) - On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。
実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。
本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-07T01:55:34Z) - SemMT: A Semantic-based Testing Approach for Machine Translation Systems [11.166336490280749]
本稿ではセマンティック類似性チェックに基づく機械翻訳システムの自動テスト手法であるSemMTを提案する。
SemMTはラウンドトリップ翻訳を適用し、原文と翻訳文のセマンティックな類似度を測定する。
我々は,SemMTが最先端の作業よりも高い効率を達成できることを実証した。
論文 参考訳（メタデータ） (2020-12-03T10:42:56Z) - Curious Case of Language Generation Evaluation Metrics: A Cautionary
Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。
これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。
本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文 参考訳（メタデータ） (2020-10-26T13:57:20Z) - Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。
我々は,構文的 LM から単語の周辺分布を抽出する。
本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
論文 参考訳（メタデータ） (2020-05-27T16:44:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。