論文の概要: Translation Quality Assessment: A Brief Survey on Manual and Automatic
Methods
- arxiv url: http://arxiv.org/abs/2105.03311v1
- Date: Wed, 5 May 2021 18:28:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-10 12:20:04.341592
- Title: Translation Quality Assessment: A Brief Survey on Manual and Automatic
Methods
- Title(参考訳): 翻訳品質評価:マニュアルおよび自動方法に関する簡単な調査
- Authors: Lifeng Han, Gareth J. F. Jones and Alan F. Smeaton
- Abstract要約: 手動判定基準と自動評価指標の両方を含む、翻訳品質評価(TQA)手法のハイレベルで簡潔な調査を紹介します。
翻訳モデル研究者と品質評価研究者の両方にとって、この研究が資産になることを願っています。
- 参考スコア(独自算出の注目度): 9.210509295803243
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: To facilitate effective translation modeling and translation studies, one of
the crucial questions to address is how to assess translation quality. From the
perspectives of accuracy, reliability, repeatability and cost, translation
quality assessment (TQA) itself is a rich and challenging task. In this work,
we present a high-level and concise survey of TQA methods, including both
manual judgement criteria and automated evaluation metrics, which we classify
into further detailed sub-categories. We hope that this work will be an asset
for both translation model researchers and quality assessment researchers. In
addition, we hope that it will enable practitioners to quickly develop a better
understanding of the conventional TQA field, and to find corresponding closely
relevant evaluation solutions for their own needs. This work may also serve
inspire further development of quality assessment and evaluation methodologies
for other natural language processing (NLP) tasks in addition to machine
translation (MT), such as automatic text summarization (ATS), natural language
understanding (NLU) and natural language generation (NLG).
- Abstract(参考訳): 効果的な翻訳モデリングと翻訳研究を容易にするため,翻訳の質を評価することが重要な課題である。
正確性、信頼性、再現性、コストの観点から見れば、翻訳品質評価(TQA)そのものはリッチで困難なタスクです。
本稿では、手動判定基準と自動評価指標の両方を含むTQA手法の高精度かつ簡潔な調査を行い、さらに詳細なサブカテゴリに分類する。
翻訳モデル研究者と品質評価研究者の両方にとって、この研究が資産になることを願っています。
さらに、実践者が従来のtqa分野をより迅速に理解し、自分たちのニーズに密接に関連する評価ソリューションを見つけることが可能になることを願っています。
この研究は、自動テキスト要約(ATS)、自然言語理解(NLU)、自然言語生成(NLG)などの機械翻訳(MT)に加えて、他の自然言語処理(NLP)タスクの品質評価および評価手法のさらなる発展にも役立てることができる。
関連論文リスト
- Exploring Precision and Recall to assess the quality and diversity of
LLMs [86.33540332994781]
本稿では,Llama-2やMistralといった大規模言語モデル(LLM)の新たな評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳(メタデータ) (2024-02-16T13:53:26Z) - Benchmarking Foundation Models with Language-Model-as-an-Examiner [47.345760054595246]
本稿では,新しいベンチマークフレームワークLanguage-Model-as-an-Examinerを提案する。
LMは、その知識に基づいて質問を定式化し、基準のない方法で応答を評価する、知識に富んだ検査者として機能する。
論文 参考訳(メタデータ) (2023-06-07T06:29:58Z) - Competency-Aware Neural Machine Translation: Can Machine Translation
Know its Own Translation Quality? [61.866103154161884]
ニューラルマシン翻訳(NMT)は、意識せずに起こる失敗に対してしばしば批判される。
本稿では,従来のNMTを自己推定器で拡張することで,新たな能力認識型NMTを提案する。
提案手法は品質評価において優れた性能を示すことを示す。
論文 参考訳(メタデータ) (2022-11-25T02:39:41Z) - PreQuEL: Quality Estimation of Machine Translation Outputs in Advance [32.922128367314194]
PreQuELシステムは、実際の翻訳とは無関係に、ある文がどの程度翻訳されるかを予測する。
タスクのベースラインモデルを開発し,その性能を解析する。
本手法は,品質評価タスクの性能向上にも有効であることを示す。
論文 参考訳(メタデータ) (2022-05-18T18:55:05Z) - A Bayesian approach to translators' reliability assessment [0.0]
我々は、複雑なシステムの観点から、翻訳品質評価プロセスを複雑なプロセスとみなす。
TQAプロセスに関わる特徴,すなわち翻訳難易度,翻訳生成と品質評価に関わる翻訳者の特性をパラメータ化する2つのベイズモデルを構築した。
専門家翻訳者であっても、レビュアーの信頼性は当然と言えないことを示す。
論文 参考訳(メタデータ) (2022-03-14T14:29:45Z) - An Overview on Machine Translation Evaluation [6.85316573653194]
機械翻訳(MT)はAIと開発の重要なタスクの1つとなっている。
MTの評価課題は,機械翻訳の質を評価するだけでなく,機械翻訳研究者にタイムリーなフィードバックを与えることである。
本報告は,機械翻訳評価(MTE)の略歴,MTE研究手法の分類,最先端の進展について概説する。
論文 参考訳(メタデータ) (2022-02-22T16:58:28Z) - QEMind: Alibaba's Submission to the WMT21 Quality Estimation Shared Task [24.668012925628968]
我々は、WMT 2021 QE共有タスクに提出する。
テキストQEMindというQEシステムを構築するための翻訳の不確実性を評価するために有用な機能をいくつか提案する。
我々は、WMT 2020のダイレクトアセスメントQEタスクにおいて、我々の多言語システムが最高のシステムより優れていることを示す。
論文 参考訳(メタデータ) (2021-12-30T02:27:29Z) - Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。
我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
論文 参考訳(メタデータ) (2021-11-15T12:09:08Z) - TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。
普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。
TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文 参考訳(メタデータ) (2021-03-21T17:20:38Z) - Unsupervised Quality Estimation for Neural Machine Translation [63.38918378182266]
既存のアプローチでは、大量の専門家アノテートデータ、計算、トレーニング時間が必要です。
MTシステム自体以外に、トレーニングや追加リソースへのアクセスが不要なQEに対して、教師なしのアプローチを考案する。
我々は品質の人間の判断と非常によく相関し、最先端の教師付きQEモデルと競合する。
論文 参考訳(メタデータ) (2020-05-21T12:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。