論文の概要: Can ChatGPT Rival Neural Machine Translation? A Comparative Study

• arxiv url: http://arxiv.org/abs/2401.05176v1
• Date: Wed, 10 Jan 2024 14:20:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 14:31:17.289454
• Title: Can ChatGPT Rival Neural Machine Translation? A Comparative Study
• Title（参考訳）: ChatGPTのニューラルネットワーク翻訳は可能か? 比較研究
• Authors: Zhaokun Jiang and Ziyin Zhang
• Abstract要約: 本稿では,ChatGPTで表される大規模言語モデルの,中国語の外交文を英語に翻訳するメインストリームのニューラルネットワーク翻訳(NMT)エンジンと比較して評価する。 本研究では,ChatGPT と NMT エンジンの翻訳品質を 4 つの自動測定値で測定し,エラータイポロジーと6 つの解析ルーリックに基づいて人的評価を行った。
• 参考スコア（独自算出の注目度）: 0.7856362837294112
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Inspired by the increasing interest in leveraging large language models for translation, this paper evaluates the capabilities of large language models (LLMs) represented by ChatGPT in comparison to the mainstream neural machine translation (NMT) engines in translating Chinese diplomatic texts into English. Specifically, we examine the translation quality of ChatGPT and NMT engines as measured by four automated metrics and human evaluation based on an error-typology and six analytic rubrics. Our findings show that automated metrics yield similar results for ChatGPT under different prompts and NMT systems, while human annotators tend to assign noticeably higher scores to ChatGPT when it is provided an example or contextual information about the translation task. Pairwise correlation between automated metrics and dimensions of human evaluation produces weak and non-significant results, suggesting the divergence between the two methods of translation quality assessment. These findings provide valuable insights into the potential of ChatGPT as a capable machine translator, and the influence of prompt engineering on its performance.
• Abstract（参考訳）: 大規模言語モデルの翻訳への活用への関心の高まりに触発された本論文は,中国外交文書を英語に翻訳する主流のニューラルマシン翻訳(nmt)エンジンと比較して,chatgptで代表される大規模言語モデル(llms)の能力を評価する。 具体的には,ChatGPT と NMT エンジンの翻訳品質を4つの自動測定値で測定し,エラータイポロジーと6つの解析ルーリックに基づいて人的評価を行った。 以上の結果から,ChatGPTでは自動測定値が異なるプロンプトやNTTシステムで同様の結果が得られる一方で,翻訳タスクの例や文脈情報を提供する場合には,人間のアノテータが顕著に高いスコアをChatGPTに割り当てる傾向が見られた。 自動測定と人間評価の次元の対関係は弱い結果と意味のない結果をもたらし、2つの翻訳品質評価方法の相違を示唆する。 これらの結果から,ChatGPTが機械翻訳の能力向上に寄与する可能性が示唆された。

関連論文リスト

• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• BLEURT Has Universal Translations: An Analysis of Automatic Metrics by Minimum Risk Training [64.37683359609308]
  本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。 BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。 詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
  論文  参考訳（メタデータ） (2023-07-06T16:59:30Z)
• Correction of Errors in Preference Ratings from Automated Metrics for Text Generation [4.661309379738428]
  本稿では,自動メトリクスの誤り率を考慮したテキスト生成評価の統計モデルを提案する。 本モデルにより, 自動評価の精度向上と, 自動評価の精度向上を両立させることが期待できる。
  論文  参考訳（メタデータ） (2023-06-06T17:09:29Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• The Glass Ceiling of Automatic Evaluation in Natural Language Generation [60.59732704936083]
  ステップバックして、既存の自動メトリクスと人的メトリクスのボディを比較して、最近の進歩を分析します。 古いものや新しいものといった自動メトリクスは、人間よりもずっと似ています。
  論文  参考訳（メタデータ） (2022-08-31T01:13:46Z)
• An Overview on Machine Translation Evaluation [6.85316573653194]
  機械翻訳(MT)はAIと開発の重要なタスクの1つとなっている。 MTの評価課題は,機械翻訳の質を評価するだけでなく,機械翻訳研究者にタイムリーなフィードバックを与えることである。 本報告は,機械翻訳評価(MTE)の略歴,MTE研究手法の分類,最先端の進展について概説する。
  論文  参考訳（メタデータ） (2022-02-22T16:58:28Z)
• Minimum Bayes Risk Decoding with Neural Metrics of Translation Quality [16.838064121696274]
  この作業は、翻訳品質の多様な自動メトリクスを最適化するために、最小ベイズリスクデコーディングを適用します。 実験により、神経翻訳モデルと神経基準に基づく計量であるBLEURTを組み合わせることで、自動評価と人的評価が大幅に改善されることが示されている。
  論文  参考訳（メタデータ） (2021-11-17T20:48:02Z)
• Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
  本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。 我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
  論文  参考訳（メタデータ） (2021-11-15T12:09:08Z)
• Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation [19.116396693370422]
  本稿では,多次元品質指標フレームワークに基づく明示的誤り分析に基づく評価手法を提案する。 我々はこれまでで最大のMQM研究を行い、WMT 2020の共通タスクから上位システムの出力を2つの言語ペアで評価した。 得られたデータを広範囲に分析し,wmtの群集作業員が確立したシステムとは,評価システムのランキングが実質的に異なる点を見出した。
  論文  参考訳（メタデータ） (2021-04-29T16:42:09Z)
• Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics [64.88815792555451]
  評価法は, 評価に用いる翻訳に非常に敏感であることを示す。 本研究では,人的判断に対する自動評価基準の下で,性能改善をしきい値にする方法を開発した。
  論文  参考訳（メタデータ） (2020-06-11T09:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。