論文の概要: Large Language Models "Ad Referendum": How Good Are They at Machine Translation in the Legal Domain?

• arxiv url: http://arxiv.org/abs/2402.07681v1
• Date: Mon, 12 Feb 2024 14:40:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 14:06:32.941090
• Title: Large Language Models "Ad Referendum": How Good Are They at Machine Translation in the Legal Domain?
• Title（参考訳）: 大規模言語モデル "Ad Referendum": 法的領域における機械翻訳はどの程度優れているか?
• Authors: Vicent Briva-Iglesias, Joao Lucas Cavalheiro Camargo, Gokhan Dogru
• Abstract要約: 本研究では,法域内の4つの言語対にまたがる伝統型ニューラルネットワーク翻訳(NMT)システムに対して,2つの最先端の大規模言語モデル(LLM)の機械翻訳(MT)の品質を評価する。 AEM(Automatic Evaluation met-rics)とHE(Human Evaluation)を専門のトランスラレータで組み合わせて、翻訳ランク、流用度、妥当性を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study evaluates the machine translation (MT) quality of two state-of-the-art large language models (LLMs) against a tradition-al neural machine translation (NMT) system across four language pairs in the legal domain. It combines automatic evaluation met-rics (AEMs) and human evaluation (HE) by professional transla-tors to assess translation ranking, fluency and adequacy. The re-sults indicate that while Google Translate generally outperforms LLMs in AEMs, human evaluators rate LLMs, especially GPT-4, comparably or slightly better in terms of producing contextually adequate and fluent translations. This discrepancy suggests LLMs' potential in handling specialized legal terminology and context, highlighting the importance of human evaluation methods in assessing MT quality. The study underscores the evolving capabil-ities of LLMs in specialized domains and calls for reevaluation of traditional AEMs to better capture the nuances of LLM-generated translations.
• Abstract（参考訳）: 本研究では,法域内の4つの言語対にまたがる伝統型ニューラルネットワーク翻訳(NMT)システムに対して,最先端の2つの大規模言語モデル(LLM)の機械翻訳(MT)の品質を評価する。 AEM(Automatic Evaluation met-rics)とHE(Human Evaluation)を専門のトランスラレータで組み合わせて、翻訳ランク、流用度、妥当性を評価する。 再調査では、Google Translateは一般的にAMMのLLMよりも優れているが、人間の評価者は、LLM(特にGPT-4)を、文脈的に適切で流動的な翻訳で比較可能またはわずかに優れていると評価している。 この相違は、特殊法的用語と文脈を扱うllmsの可能性を示唆し、mt品質の評価における人間評価方法の重要性を強調している。 この研究は、特殊なドメインにおけるLLMのキャパビティの進化と、LLM生成翻訳のニュアンスをよりよく捉えるために、従来のAEMの再評価を要求する。

関連論文リスト

• GPT-4 vs. Human Translators: A Comprehensive Evaluation of Translation Quality Across Languages, Domains, and Expertise Levels [18.835573312027265]
  本研究では,人間の翻訳者に対するLarge Language Models(LLMs)の翻訳品質を包括的に評価する。 また, GPT-4は, 中高の翻訳者よりも遅れが小さいため, 中高の翻訳者に対して同等に機能することがわかった。
  論文  参考訳（メタデータ） (2024-07-04T05:58:04Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts [52.18246881218829]
  本稿では,大言語モデル(LLM)をベースとした多エージェントフレームワークを,TransAgentsという企業として実装した。 本システムの有効性を評価するため,モノリンガル・ヒューマン・プライス(MHP)とバイリンガル・LLM・プライス(BLP)の2つの革新的な評価戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-20T05:55:08Z)
• Guiding Large Language Models to Post-Edit Machine Translation with Error Annotations [14.149224539732913]
  機械翻訳は、大規模言語モデル(LLM)がまだ専用の教師付きシステムに取って代わっていない最後のNLPタスクの1つである。 この研究はLLMの補完的な強度を利用して、その品質に外部からのフィードバックを伴って、LMを自動で後続MTに誘導する。 中国語・英語・ドイツ語・英語・ロシア語のMQMデータを用いた実験により,LLMのMT後処理によりTER,BLEU,COMETのスコアが向上することが実証された。 微調整はきめ細かいフィードバックをより効果的に統合し、自動評価と人的評価の両方に基づいて翻訳品質を向上させる。
  論文  参考訳（メタデータ） (2024-04-11T15:47:10Z)
• TEaR: Improving LLM-based Machine Translation with Systematic Self-Refinement [26.26493253161022]
  大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た 我々は,体系的LLMに基づく自己精製翻訳フレームワーク,textbfTEaRを紹介する。
  論文  参考訳（メタデータ） (2024-02-26T07:58:12Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。