論文の概要: Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation

• arxiv url: http://arxiv.org/abs/2401.06568v1
• Date: Fri, 12 Jan 2024 13:23:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 19:21:06.247043
• Title: Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation
• Title（参考訳）: ソース言語における紛失: 大規模言語モデルが機械翻訳の品質を評価する方法
• Authors: Xu Huang, Zhirui Zhang, Xiang Geng, Yichao Du, Jiajun Chen, Shujian Huang
• Abstract要約: 大規模言語モデル (LLM) は機械翻訳評価タスクにおいて顕著な成果を上げている。 本研究は,LLMが翻訳評価においてソース情報と参照情報をどのように活用するかを検討することを目的とする。
• 参考スコア（独自算出の注目度）: 68.43666295024714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable results in the machine translation evaluation task, yet there remains a gap in knowledge regarding how they utilize the provided data to conduct evaluations. This study aims to explore how LLMs leverage source and reference information in evaluating translations, with the ultimate goal of better understanding the working mechanism of LLMs. To this end, we design the controlled experiments across various input modes and model types, and employ both coarse-grained and fine-grained prompts to discern the utility of source versus reference information. Surprisingly, we find that reference information significantly enhances the evaluation accuracy, while source information sometimes is counterproductive, indicating a lack of cross-lingual capability when using LLMs to evaluate translations. We further conduct a meta-evaluation for translation error detection of LLMs, observing a similar phenomenon. These findings also suggest a potential research direction for LLMs that fully exploits the cross-lingual capability of LLMs to achieve better performance in machine translation evaluation tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は機械翻訳評価タスクにおいて顕著な成果を上げてきたが、提供されたデータを用いて評価を行う方法については知識のギャップが残っている。 本研究の目的は,LLMの作業メカニズムをよりよく理解することを目的とした翻訳評価において,LLMがソース情報や参照情報をどのように活用するかを検討することである。 この目的のために,様々な入力モードとモデルタイプにわたる制御実験をデザインし,粗粒度と細粒度の両方を用いてソース情報と参照情報の有用性を識別する。 意外なことに、参照情報が評価精度を大幅に向上させるのに対して、ソース情報は時として非生産的であり、LLMを用いて翻訳を評価する場合の言語横断能力の欠如が示唆される。 さらに,LLMの翻訳誤り検出のためのメタ評価を行い,同様の現象を観察する。 また, 機械翻訳評価タスクにおいて, LLMの言語間能力を完全に活用し, 性能向上を図っている。

関連論文リスト

• Exploring Large Language Models for Translating Romanian Computational Problems into English [0.0]
  本研究では,ロバストな大規模言語モデル(LLM)が,十分に構造化されたプロンプトを与えられた場合,あまり一般的でない言語を翻訳する際に,その性能を維持あるいは向上できることを示す。 OpenRoLLM, Llama 3.1 8B, Llama 3.2 3B, GPT-4o など, 複数の LLM の翻訳手法について検討した。
  論文  参考訳（メタデータ） (2025-01-09T22:17:44Z)
• When LLMs Struggle: Reference-less Translation Evaluation for Low-resource Languages [9.138590152838754]
  セグメントレベルの品質評価(QE)は言語間理解の難しい課題である。 ゼロ/フェーショットシナリオにおいて,大規模言語モデル (LLM) を包括的に評価する。 この結果から,エンコーダを用いた微調整QEモデルでは,プロンプトベースアプローチの方が優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-01-08T12:54:05Z)
• LLM-based Translation Inference with Iterative Bilingual Understanding [52.46978502902928]
  大規模言語モデル(LLM)の言語間機能に基づいた,新しい反復的バイリンガル理解翻訳法を提案する。 LLMの言語横断的能力により、ソース言語とターゲット言語を別々にコンテキスト理解することが可能になる。 提案したIBUTは、いくつかの強力な比較法より優れている。
  論文  参考訳（メタデータ） (2024-10-16T13:21:46Z)
• What do Large Language Models Need for Machine Translation Evaluation? [12.42394213466485]
  大規模言語モデル(LLM)は、微調整された多言語事前訓練言語モデルに匹敵する結果が得られる。 本稿では,LLMの機械翻訳品質を評価するために,ソース,参照,翻訳エラー,ガイドラインなどの翻訳情報が必要であるかを検討する。
  論文  参考訳（メタデータ） (2024-10-04T09:50:45Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• TEaR: Improving LLM-based Machine Translation with Systematic Self-Refinement [26.26493253161022]
  大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た 我々は,体系的LLMに基づく自己精製翻訳フレームワーク,textbfTEaRを紹介する。
  論文  参考訳（メタデータ） (2024-02-26T07:58:12Z)
• Exploring Human-Like Translation Strategy with Large Language Models [93.49333173279508]
  大規模言語モデル(LLM)は、一般的なシナリオにおいて印象的な機能を示している。 本研究は,マルチアスペクト・プロンプトと選択のためのMAPSフレームワークを提案する。 品質推定に基づく選択機構を用いて,ノイズや不ヘッピーな知識を抽出する。
  論文  参考訳（メタデータ） (2023-05-06T19:03:12Z)
• Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
  言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。 大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。 本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
  論文  参考訳（メタデータ） (2022-12-14T13:41:49Z)
• El Departamento de Nosotros: How Machine Translated Corpora Affects Language Models in MRC Tasks [0.12183405753834563]
  大規模言語モデル(LM)の事前学習には大量のテキストコーパスが必要である。 下流自然言語処理タスクの微調整に直接翻訳コーパスを適用する際の注意点について検討する。 後処理に伴う慎重なキュレーションにより,性能が向上し,LM全体の堅牢性が向上することを示す。
  論文  参考訳（メタデータ） (2020-07-03T22:22:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。