論文の概要: GPT-4 vs. Human Translators: A Comprehensive Evaluation of Translation Quality Across Languages, Domains, and Expertise Levels
- arxiv url: http://arxiv.org/abs/2407.03658v1
- Date: Thu, 4 Jul 2024 05:58:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 19:02:03.753508
- Title: GPT-4 vs. Human Translators: A Comprehensive Evaluation of Translation Quality Across Languages, Domains, and Expertise Levels
- Title（参考訳）: GPT-4 vs. 人間翻訳者:言語、ドメイン、エキスパートレベルにわたる翻訳品質の総合評価
- Authors: Jianhao Yan, Pingchuan Yan, Yulong Chen, Judy Li, Xianchao Zhu, Yue Zhang,
- Abstract要約: 本研究では,人間の翻訳者に対するLarge Language Models(LLMs)の翻訳品質を包括的に評価する。
また, GPT-4は, 中高の翻訳者よりも遅れが小さいため, 中高の翻訳者に対して同等に機能することがわかった。
- 参考スコア（独自算出の注目度）: 18.835573312027265
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study comprehensively evaluates the translation quality of Large Language Models (LLMs), specifically GPT-4, against human translators of varying expertise levels across multiple language pairs and domains. Through carefully designed annotation rounds, we find that GPT-4 performs comparably to junior translators in terms of total errors made but lags behind medium and senior translators. We also observe the imbalanced performance across different languages and domains, with GPT-4's translation capability gradually weakening from resource-rich to resource-poor directions. In addition, we qualitatively study the translation given by GPT-4 and human translators, and find that GPT-4 translator suffers from literal translations, but human translators sometimes overthink the background information. To our knowledge, this study is the first to evaluate LLMs against human translators and analyze the systematic differences between their outputs, providing valuable insights into the current state of LLM-based translation and its potential limitations.
- Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)の翻訳品質,特にGPT-4を,複数の言語ペアとドメインにまたがる様々な専門知識の翻訳者に対して包括的に評価する。
慎重に設計されたアノテーションラウンドにより、GPT-4は中間翻訳者や上級翻訳者よりも遅れが小さいため、中間翻訳者に対して同等に機能することがわかった。
また,GPT-4の翻訳能力は資源豊かから資源粗末な方向へと徐々に低下し,言語やドメイン間の不均衡な性能も観察する。
さらに, GPT-4とヒト翻訳者による翻訳を質的に研究し, GPT-4翻訳者がリテラル翻訳に苦しむことを発見した。
本研究は,人間の翻訳者に対してLLMを評価し,その出力の系統的差異を解析し,LLMに基づく翻訳の現状とその潜在的な限界について貴重な知見を提供する。
関連論文リスト
- Benchmarking GPT-4 against Human Translators: A Comprehensive Evaluation Across Languages, Domains, and Expertise Levels [20.05501751993599]
GPT-4は、全エラーの点において、中級のトランスレータに匹敵する性能を達成する。
従来のニューラル機械翻訳システムとは異なり、GPT-4は全ての評価された言語対に対して一貫した翻訳品質を維持している。
論文 参考訳（メタデータ） (2024-11-21T01:12:46Z) - How Good Are LLMs for Literary Translation, Really? Literary Translation Evaluation with Humans and LLMs [23.247387152595067]
LITEVAL-CORPUSは、複数の検証された人間の翻訳と9つの機械翻訳システムからの出力を含む並列コーパスである。
非文学的人為的MT評価におけるデファクトスタンダードである多次元品質指標(MQM)は、文学翻訳には不十分であることがわかった。
論文 参考訳（メタデータ） (2024-10-24T12:48:03Z) - (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts [52.18246881218829]
本稿では,大言語モデル(LLM)をベースとした多エージェントフレームワークを,TransAgentsという企業として実装した。
本システムの有効性を評価するため,モノリンガル・ヒューマン・プライス(MHP)とバイリンガル・LLM・プライス(BLP)の2つの革新的な評価戦略を提案する。
論文 参考訳（メタデータ） (2024-05-20T05:55:08Z) - Large Language Models "Ad Referendum": How Good Are They at Machine
Translation in the Legal Domain? [0.0]
本研究では,法域内の4つの言語対にまたがる伝統型ニューラルネットワーク翻訳(NMT)システムに対して,2つの最先端の大規模言語モデル(LLM)の機械翻訳(MT)の品質を評価する。
AEM(Automatic Evaluation met-rics)とHE(Human Evaluation)を専門のトランスラレータで組み合わせて、翻訳ランク、流用度、妥当性を評価する。
論文 参考訳（メタデータ） (2024-02-12T14:40:54Z) - Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。
参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
論文 参考訳（メタデータ） (2024-01-12T13:23:21Z) - Leveraging GPT-4 for Automatic Translation Post-Editing [23.65958978995292]
GPT-4は翻訳後編集に長けており、有意義で信頼できる翻訳編集が可能である。
GPT-4に基づく後編集を用いて、WMT-22英語、英語、英語、中国語、ドイツ語のペアの最先端性能を改善した。
論文 参考訳（メタデータ） (2023-05-24T08:30:05Z) - The Best of Both Worlds: Combining Human and Machine Translations for
Multilingual Semantic Parsing with Active Learning [50.320178219081484]
人文翻訳と機械翻訳の両方の長所を生かした能動的学習手法を提案する。
理想的な発話選択は、翻訳されたデータの誤りとバイアスを著しく低減することができる。
論文 参考訳（メタデータ） (2023-05-22T05:57:47Z) - Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。
本稿では, MMT における LLM の利点と課題を体系的に検討する。
また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文 参考訳（メタデータ） (2023-04-10T15:51:30Z) - Large language models effectively leverage document-level context for
literary translation, but critical errors persist [32.54546652197316]
大規模言語モデル(LLM)は、幅広い文レベルの翻訳データセット上での最先端技術と競合する。
我々は,Gpt-3.5 (text-davinci-003) LLM) を用いて文節全体を翻訳し,高品質な翻訳を行うという厳密な評価を通して示す。
論文 参考訳（メタデータ） (2023-04-06T17:27:45Z) - ParroT: Translating during Chat using Large Language Models tuned with
Human Translation and Feedback [90.20262941911027]
ParroTはチャット中の翻訳機能を強化し、規制するフレームワークである。
具体的には、ParroTは、翻訳データを命令フォロースタイルに書き換える。
本稿では,ParroTモデルを微調整するための3つの命令タイプを提案する。
論文 参考訳（メタデータ） (2023-04-05T13:12:00Z) - A Set of Recommendations for Assessing Human-Machine Parity in Language
Translation [87.72302201375847]
我々は、ハサンらの中国語から英語への翻訳調査を再評価する。
専門家による翻訳では誤りが著しく少なかった。
論文 参考訳（メタデータ） (2020-04-03T17:49:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。