論文の概要: Evaluating Amharic Machine Translation
- arxiv url: http://arxiv.org/abs/2003.14386v1
- Date: Tue, 31 Mar 2020 17:30:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 00:57:17.539994
- Title: Evaluating Amharic Machine Translation
- Title(参考訳): アンハリック機械翻訳の評価
- Authors: Asmelash Teka Hadgu, Adam Beaudoin, Abel Aregawi
- Abstract要約: 我々は,Amharicの機械翻訳システムの品質を自動評価するデータセットを開発し,共有する。
BLEUスコアの結果は、アムハラ語翻訳の結果は有望だが、まだ低いことを示している。
- 参考スコア(独自算出の注目度): 0.4297070083645048
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine translation (MT) systems are now able to provide very accurate
results for high resource language pairs. However, for many low resource
languages, MT is still under active research. In this paper, we develop and
share a dataset to automatically evaluate the quality of MT systems for
Amharic. We compare two commercially available MT systems that support
translation of Amharic to and from English to assess the current state of MT
for Amharic. The BLEU score results show that the results for Amharic
translation are promising but still low. We hope that this dataset will be
useful to the research community both in academia and industry as a benchmark
to evaluate Amharic MT systems.
- Abstract(参考訳): 機械翻訳(MT)システムは、高リソース言語ペアに対して非常に正確な結果を提供することができる。
しかし、多くの低資源言語では、MTはまだ活発に研究されている。
本稿では,アムハラ語におけるMTシステムの品質を自動評価するデータセットを開発し,共有する。
amharicの英語への翻訳をサポートする商用mtシステムとamharicの現在の状態を評価するためのmtシステムを比較した。
BLEUスコアの結果は、アムハラ語翻訳の結果は有望だが、まだ低いことを示している。
このデータセットが、学界と産業の両方の研究コミュニティにとって、アムハーリックmtシステムを評価するためのベンチマークとして役立つことを願っている。
関連論文リスト
- Evaluating Automatic Metrics with Incremental Machine Translation Systems [55.78547133890403]
商業機械翻訳からなるデータセットを導入し,12の翻訳方向から6年間にわたって収集した。
商業システムは時間とともに改善され、より最近の翻訳の好みに基づいて機械翻訳(MT)メトリクスを評価することができると仮定する。
論文 参考訳(メタデータ) (2024-07-03T17:04:17Z) - EthioMT: Parallel Corpus for Low-resource Ethiopian Languages [49.80726355048843]
15言語用の新しい並列コーパスであるEthioMTを紹介する。
また、エチオピアのより優れた言語のためのデータセットを収集して、新しいベンチマークを作成する。
トランスフォーマーと微調整手法を用いて,新たに収集したコーパスと23のエチオピア語に対するベンチマークデータセットを評価した。
論文 参考訳(メタデータ) (2024-03-28T12:26:45Z) - An approach for mistranslation removal from popular dataset for Indic MT
Task [5.4755933832880865]
トレーニングコーパスから誤訳を除去し,その性能と効率を評価するアルゴリズムを提案する。
実験には2つのIndic言語(IL)、すなわちHindi(HIN)とOdia(ODI)が選択される。
実験における翻訳の質は,BLEU, METEOR, RIBESなどの標準指標を用いて評価する。
論文 参考訳(メタデータ) (2024-01-12T06:37:19Z) - Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding [73.32763904267186]
大きな言語モデル(LLM)は、優れた翻訳品質を達成する可能性を示す。
我々は,NMTシステムを事前翻訳モデルとして扱うCooperative Decoding(CoDec)と,MT指向LLMを補足解として提案する。
論文 参考訳(メタデータ) (2023-11-06T03:41:57Z) - Discourse Centric Evaluation of Machine Translation with a Densely
Annotated Parallel Corpus [82.07304301996562]
本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。
ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。
我々はMT出力が人間の翻訳と基本的に異なることを発見した。
論文 参考訳(メタデータ) (2023-05-18T17:36:41Z) - Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。
我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。
実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
論文 参考訳(メタデータ) (2022-12-20T14:39:58Z) - Neural Machine Translation Quality and Post-Editing Performance [0.04654201857155095]
我々は高品質なニューラルMT(NMT)に注力し、それ以来最先端のアプローチとなり、ほとんどの翻訳会社にも採用されている。
すべてのモデルにおいて、優れたMTシステムによって、この業界環境での文の変化が少ないことが分かりました。
句ベースのMTの結果とは対照的に、BLEUは時間や最終的な出力品質の安定な予測器ではない。
論文 参考訳(メタデータ) (2021-09-10T17:56:02Z) - Difficulty-Aware Machine Translation Evaluation [19.973201669851626]
本稿では,新しい難易度対応機械翻訳評価指標を提案する。
ほとんどのMTシステムで予測できない翻訳は難解なものとして扱われ、最終的なスコア関数に大きな重みが割り当てられる。
提案手法は,MTシステムすべてが非常に競争力がある場合でも良好に機能する。
論文 参考訳(メタデータ) (2021-07-30T02:45:36Z) - Unsupervised Quality Estimation for Neural Machine Translation [63.38918378182266]
既存のアプローチでは、大量の専門家アノテートデータ、計算、トレーニング時間が必要です。
MTシステム自体以外に、トレーニングや追加リソースへのアクセスが不要なQEに対して、教師なしのアプローチを考案する。
我々は品質の人間の判断と非常によく相関し、最先端の教師付きQEモデルと競合する。
論文 参考訳(メタデータ) (2020-05-21T12:38:06Z) - Amharic-Arabic Neural Machine Translation [0.0]
2つのLong Short-Term Memory (LSTM) と Gated Recurrent Units (GRU) ベースのNeural Machine Translation (NMT) モデルを開発した。
クラーン文字コーパスは、既存の単言語アラビア語のテキストと、タンジレ語で利用可能なアムハラ語のテキストコーパスの同値な翻訳を変更することで構成されている。
LSTMとGRUベースのNMTモデルとGoogle翻訳システムを比較し,LSTMベースのOpenNMTはGRUベースのOpenNMTとGoogle翻訳システムより優れていることを示した。
論文 参考訳(メタデータ) (2019-12-26T15:41:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。