Fugu-MT 論文翻訳(概要): A Bayesian approach to translators' reliability assessment

論文の概要: A Bayesian approach to translators' reliability assessment

arxiv url: http://arxiv.org/abs/2203.07135v1
Date: Mon, 14 Mar 2022 14:29:45 GMT
ステータス: 処理完了
システム内更新日: 2022-03-15 23:41:30.258157
Title: A Bayesian approach to translators' reliability assessment
Title（参考訳）: 翻訳者の信頼性評価へのベイズ的アプローチ
Authors: Marco Miccheli, Andrea Tacchella, Andrea Zaccaria, Dario Mazzilli, S\'ebastien Brati\`eres, Luciano Pietronero
Abstract要約: 我々は、複雑なシステムの観点から、翻訳品質評価プロセスを複雑なプロセスとみなす。 TQAプロセスに関わる特徴,すなわち翻訳難易度,翻訳生成と品質評価に関わる翻訳者の特性をパラメータ化する2つのベイズモデルを構築した。専門家翻訳者であっても、レビュアーの信頼性は当然と言えないことを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Translation Quality Assessment (TQA) conducted by human translators is a process widely used, both in estimating the increasingly used Machine Translation performance and in finding an agreement between customers and translation providers in translation industry. While translation scholars are aware about the importance of having a reliable way to conduct the TQA process, it seems that there is limited literature facing the issue of reliability with a quantitative approach. Here we consider the TQA as a complex process, considering it from the physics of complex systems point of view, and we face the reliability issue with a Bayesian approach. Using a dataset of translation quality evaluations, in an error annotation setting, entirely produced by the Language Service Provider Translated Srl, we build two Bayesian models that parameterise the features involved in the TQA process, namely the translation difficulty, the characteristics of the translators involved in producing the translation and assessing its quality (reviewers). After validating the models in an unsupervised setting, showing that it is possible to get meaningful insights about translators even with just one review per translation job, we extract information about the translators and reviewers and we show that reviewers reliability cannot be taken for granted even if they are expert translators: the translator's expertise could induce also a cognitive bias when reviewing a translation produced by another translator. The most expert translators, though, show the highest level of consistency, both in the task of translating and in the one of assessing translation quality.
Abstract（参考訳）: 人間翻訳者による翻訳品質評価(TQA)は、ますます使われている機械翻訳のパフォーマンスを推定したり、翻訳業界における顧客と翻訳業者の合意を得る際に広く用いられるプロセスである。翻訳学者は、TQAプロセスを実行するための信頼性の高い方法を持つことの重要性を意識しているが、定量的アプローチで信頼性の問題に直面している文献は限られているようである。ここでは、TQAを複雑なプロセスとみなし、複雑なシステムの観点からこれを考慮し、ベイズ的なアプローチで信頼性の問題に直面する。翻訳品質評価のデータセットを用いて,言語サービスプロバイダがsrlを完全に生成したエラーアノテーション設定を用いて,tqaプロセスに関わる特徴,すなわち翻訳の難易度,翻訳の作成に関わる翻訳者の特性をパラメータ化し,その品質を評価する2つのベイズモデルを構築した(レビュー)。教師なしの環境でモデルを検証した結果,翻訳者毎のレビューを1回行うだけで,翻訳者についての有意義な洞察を得ることが可能であることを示すとともに,翻訳者やレビュアーに関する情報を抽出し,専門家の翻訳者であってもレビュアーの信頼性を評価できないことを示す。しかし、最も専門的な翻訳者は、翻訳のタスクと翻訳の質を評価するタスクの両方において、最も高い一貫性を示している。

関連論文リスト

xTower: A Multilingual LLM for Explaining and Correcting Translation Errors [22.376508000237042]
xTower は TowerBase 上に構築されたオープンな大規模言語モデル (LLM) である。翻訳品質の大幅な向上を示すために, 様々な実験装置を用いてxTowerを検証した。
論文参考訳（メタデータ） (2024-06-27T18:51:46Z)
Understanding and Addressing the Under-Translation Problem from the Perspective of Decoding Objective [72.83966378613238]
最新のニューラル・マシン・トランスレーション(NMT)システムでは、アンダー・トランスレーションとオーバー・トランスレーションの2つの課題が残っている。我々は,NMTにおけるアンダートランスレーションの根本原因を詳細に分析し,デコード目的の観点から解説する。本研究は,低翻訳の検知器としてEOS(End Of Sentence)予測の信頼性を活用し,低翻訳のリスクが高い候補を罰する信頼性に基づくペナルティを強化することを提案する。
論文参考訳（メタデータ） (2024-05-29T09:25:49Z)
Evaluating Optimal Reference Translations [4.956416618428049]
本稿では,より信頼性の高い文書レベルの人文参照翻訳手法を提案する。得られた文書レベルの最適参照翻訳を「標準」翻訳と比較して評価した。
論文参考訳（メタデータ） (2023-11-28T13:50:50Z)
Optimizing Machine Translation through Prompt Engineering: An Investigation into ChatGPT's Customizability [0.0]
この研究は、ChatGPTのような大規模言語モデルに適切なプロンプトが組み込まれれば、柔軟な翻訳が可能になることを明らかにしている。この研究は、特定の条件を満たす翻訳を生成するためにプロンプトを使用すると、翻訳品質の変化を精査する。
論文参考訳（メタデータ） (2023-08-02T19:11:04Z)
Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
論文参考訳（メタデータ） (2022-12-20T14:39:58Z)
Competency-Aware Neural Machine Translation: Can Machine Translation Know its Own Translation Quality? [61.866103154161884]
ニューラルマシン翻訳(NMT)は、意識せずに起こる失敗に対してしばしば批判される。本稿では,従来のNMTを自己推定器で拡張することで,新たな能力認識型NMTを提案する。提案手法は品質評価において優れた性能を示すことを示す。
論文参考訳（メタデータ） (2022-11-25T02:39:41Z)
Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
論文参考訳（メタデータ） (2021-11-15T12:09:08Z)
ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback [70.5469946314539]
ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
論文参考訳（メタデータ） (2021-07-30T17:58:54Z)
Backtranslation Feedback Improves User Confidence in MT, Not Quality [18.282199360280433]
アウトバウンド翻訳に対するユーザーの信頼感と、全体的な最終品質に影響を与える3つの方法を紹介します。本稿では,英語からチェコ語,エストニア語へのアウトバウンド翻訳実験について述べる。逆変換のフィードバックは、プロセス全体に対して混合効果を持つ: 生成した翻訳に対するユーザの信頼度を高めるが、客観的な品質ではない。
論文参考訳（メタデータ） (2021-04-12T17:50:24Z)
A Set of Recommendations for Assessing Human-Machine Parity in Language Translation [87.72302201375847]
我々は、ハサンらの中国語から英語への翻訳調査を再評価する。専門家による翻訳では誤りが著しく少なかった。
論文参考訳（メタデータ） (2020-04-03T17:49:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。