論文の概要: A Bayesian approach to translators' reliability assessment
- arxiv url: http://arxiv.org/abs/2203.07135v1
- Date: Mon, 14 Mar 2022 14:29:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 23:41:30.258157
- Title: A Bayesian approach to translators' reliability assessment
- Title(参考訳): 翻訳者の信頼性評価へのベイズ的アプローチ
- Authors: Marco Miccheli, Andrea Tacchella, Andrea Zaccaria, Dario Mazzilli,
S\'ebastien Brati\`eres, Luciano Pietronero
- Abstract要約: 我々は、複雑なシステムの観点から、翻訳品質評価プロセスを複雑なプロセスとみなす。
TQAプロセスに関わる特徴,すなわち翻訳難易度,翻訳生成と品質評価に関わる翻訳者の特性をパラメータ化する2つのベイズモデルを構築した。
専門家翻訳者であっても、レビュアーの信頼性は当然と言えないことを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Translation Quality Assessment (TQA) conducted by human translators is a
process widely used, both in estimating the increasingly used Machine
Translation performance and in finding an agreement between customers and
translation providers in translation industry. While translation scholars are
aware about the importance of having a reliable way to conduct the TQA process,
it seems that there is limited literature facing the issue of reliability with
a quantitative approach. Here we consider the TQA as a complex process,
considering it from the physics of complex systems point of view, and we face
the reliability issue with a Bayesian approach. Using a dataset of translation
quality evaluations, in an error annotation setting, entirely produced by the
Language Service Provider Translated Srl, we build two Bayesian models that
parameterise the features involved in the TQA process, namely the translation
difficulty, the characteristics of the translators involved in producing the
translation and assessing its quality (reviewers). After validating the models
in an unsupervised setting, showing that it is possible to get meaningful
insights about translators even with just one review per translation job, we
extract information about the translators and reviewers and we show that
reviewers reliability cannot be taken for granted even if they are expert
translators: the translator's expertise could induce also a cognitive bias when
reviewing a translation produced by another translator. The most expert
translators, though, show the highest level of consistency, both in the task of
translating and in the one of assessing translation quality.
- Abstract(参考訳): 人間翻訳者による翻訳品質評価(TQA)は、ますます使われている機械翻訳のパフォーマンスを推定したり、翻訳業界における顧客と翻訳業者の合意を得る際に広く用いられるプロセスである。
翻訳学者は、TQAプロセスを実行するための信頼性の高い方法を持つことの重要性を意識しているが、定量的アプローチで信頼性の問題に直面している文献は限られているようである。
ここでは、TQAを複雑なプロセスとみなし、複雑なシステムの観点からこれを考慮し、ベイズ的なアプローチで信頼性の問題に直面する。
翻訳品質評価のデータセットを用いて,言語サービスプロバイダがsrlを完全に生成したエラーアノテーション設定を用いて,tqaプロセスに関わる特徴,すなわち翻訳の難易度,翻訳の作成に関わる翻訳者の特性をパラメータ化し,その品質を評価する2つのベイズモデルを構築した(レビュー)。
教師なしの環境でモデルを検証した結果,翻訳者毎のレビューを1回行うだけで,翻訳者についての有意義な洞察を得ることが可能であることを示すとともに,翻訳者やレビュアーに関する情報を抽出し,専門家の翻訳者であってもレビュアーの信頼性を評価できないことを示す。
しかし、最も専門的な翻訳者は、翻訳のタスクと翻訳の質を評価するタスクの両方において、最も高い一貫性を示している。
関連論文リスト
- Evaluating Optimal Reference Translations [4.956416618428049]
本稿では,より信頼性の高い文書レベルの人文参照翻訳手法を提案する。
得られた文書レベルの最適参照翻訳を「標準」翻訳と比較して評価した。
論文 参考訳(メタデータ) (2023-11-28T13:50:50Z) - Optimizing Machine Translation through Prompt Engineering: An
Investigation into ChatGPT's Customizability [0.0]
この研究は、ChatGPTのような大規模言語モデルに適切なプロンプトが組み込まれれば、柔軟な翻訳が可能になることを明らかにしている。
この研究は、特定の条件を満たす翻訳を生成するためにプロンプトを使用すると、翻訳品質の変化を精査する。
論文 参考訳(メタデータ) (2023-08-02T19:11:04Z) - Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。
我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。
実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
論文 参考訳(メタデータ) (2022-12-20T14:39:58Z) - Competency-Aware Neural Machine Translation: Can Machine Translation
Know its Own Translation Quality? [61.866103154161884]
ニューラルマシン翻訳(NMT)は、意識せずに起こる失敗に対してしばしば批判される。
本稿では,従来のNMTを自己推定器で拡張することで,新たな能力認識型NMTを提案する。
提案手法は品質評価において優れた性能を示すことを示す。
論文 参考訳(メタデータ) (2022-11-25T02:39:41Z) - Rethink about the Word-level Quality Estimation for Machine Translation
from Human Judgement [57.72846454929923]
ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。
本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。
その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
論文 参考訳(メタデータ) (2022-09-13T02:37:12Z) - Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。
我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
論文 参考訳(メタデータ) (2021-11-15T12:09:08Z) - ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality
Estimation and Corrective Feedback [70.5469946314539]
ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。
統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
論文 参考訳(メタデータ) (2021-07-30T17:58:54Z) - Backtranslation Feedback Improves User Confidence in MT, Not Quality [18.282199360280433]
アウトバウンド翻訳に対するユーザーの信頼感と、全体的な最終品質に影響を与える3つの方法を紹介します。
本稿では,英語からチェコ語,エストニア語へのアウトバウンド翻訳実験について述べる。
逆変換のフィードバックは、プロセス全体に対して混合効果を持つ: 生成した翻訳に対するユーザの信頼度を高めるが、客観的な品質ではない。
論文 参考訳(メタデータ) (2021-04-12T17:50:24Z) - A Set of Recommendations for Assessing Human-Machine Parity in Language
Translation [87.72302201375847]
我々は、ハサンらの中国語から英語への翻訳調査を再評価する。
専門家による翻訳では誤りが著しく少なかった。
論文 参考訳(メタデータ) (2020-04-03T17:49:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。