論文の概要: Evaluating Automatic Metrics with Incremental Machine Translation Systems
- arxiv url: http://arxiv.org/abs/2407.03277v1
- Date: Wed, 3 Jul 2024 17:04:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 13:17:22.477572
- Title: Evaluating Automatic Metrics with Incremental Machine Translation Systems
- Title（参考訳）: インクリメンタル機械翻訳システムによる自動メトリクスの評価
- Authors: Guojun Wu, Shay B. Cohen, Rico Sennrich,
- Abstract要約: 商業機械翻訳からなるデータセットを導入し,12の翻訳方向から6年間にわたって収集した。
商業システムは時間とともに改善され、より最近の翻訳の好みに基づいて機械翻訳(MT)メトリクスを評価することができると仮定する。
本研究は、MTメトリックス研究におけるいくつかの過去の知見を確認し、測定値評価のためのテストベッドとしてデータセットの価値を実証する。
- 参考スコア（独自算出の注目度）: 55.78547133890403
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a dataset comprising commercial machine translations, gathered weekly over six years across 12 translation directions. Since human A/B testing is commonly used, we assume commercial systems improve over time, which enables us to evaluate machine translation (MT) metrics based on their preference for more recent translations. Our study confirms several previous findings in MT metrics research and demonstrates the dataset's value as a testbed for metric evaluation. We release our code at https://github.com/gjwubyron/Evo
- Abstract（参考訳）: 商業機械翻訳からなるデータセットを導入し,12の翻訳方向から6年間にわたって収集した。
ヒトのA/Bテストは一般的に使用されるため、商用システムは時間とともに改善され、より最近の翻訳の好みに基づいて機械翻訳(MT)メトリクスを評価することができると仮定する。
本研究は、MTメトリックス研究におけるいくつかの過去の知見を確認し、測定値評価のためのテストベッドとしてデータセットの価値を実証する。
私たちはhttps://github.com/gjwubyron/Evoでコードを公開しています。
関連論文リスト
- Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。
我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。
本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
論文 参考訳（メタデータ） (2024-07-18T15:20:31Z) - An approach for mistranslation removal from popular dataset for Indic MT
Task [5.4755933832880865]
トレーニングコーパスから誤訳を除去し,その性能と効率を評価するアルゴリズムを提案する。
実験には2つのIndic言語(IL)、すなわちHindi(HIN)とOdia(ODI)が選択される。
実験における翻訳の質は,BLEU, METEOR, RIBESなどの標準指標を用いて評価する。
論文 参考訳（メタデータ） (2024-01-12T06:37:19Z) - BLEURT Has Universal Translations: An Analysis of Automatic Metrics by
Minimum Risk Training [64.37683359609308]
本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。
BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。
詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
論文 参考訳（メタデータ） (2023-07-06T16:59:30Z) - Quality Estimation of Machine Translated Texts based on Direct Evidence
from Training Data [0.0]
MTシステムのトレーニングデータとして使用される並列コーパスは,MTシステムによって生成された翻訳の質を推定するための直接的な手がかりを有することを示す。
実験の結果,本手法は純粋にデータ駆動型機械翻訳システムによって生成された翻訳の品質評価に有効であることがわかった。
論文 参考訳（メタデータ） (2023-06-27T11:52:28Z) - Statistical Machine Translation for Indic Languages [1.8899300124593648]
本稿では,バイリンガル統計機械翻訳モデルの開発について論じる。
このシステムを構築するために,MOSES オープンソース SMT ツールキットについて検討した。
本実験では, BLEU, METEOR, RIBESなどの標準指標を用いて, 翻訳の質を評価する。
論文 参考訳（メタデータ） (2023-01-02T06:23:12Z) - Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。
我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。
実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
論文 参考訳（メタデータ） (2022-12-20T14:39:58Z) - FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。
このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
論文 参考訳（メタデータ） (2022-10-01T05:02:04Z) - Machine Translation Customization via Automatic Training Data Selection
from the Web [97.98885151955467]
特定のドメインで機械翻訳システムをカスタマイズするためのアプローチについて説明します。
ターゲットとなる顧客データに似たデータを選択し、ニューラル翻訳モデルを訓練する。
最後に、自動選択したデータに基づいてMTモデルをトレーニングし、対象領域に特化したシステムを得る。
論文 参考訳（メタデータ） (2021-02-20T03:29:41Z) - Evaluating Amharic Machine Translation [0.4297070083645048]
我々は,Amharicの機械翻訳システムの品質を自動評価するデータセットを開発し,共有する。
BLEUスコアの結果は、アムハラ語翻訳の結果は有望だが、まだ低いことを示している。
論文 参考訳（メタデータ） (2020-03-31T17:30:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。