論文の概要: MT-LENS: An all-in-one Toolkit for Better Machine Translation Evaluation

• arxiv url: http://arxiv.org/abs/2412.11615v1
• Date: Mon, 16 Dec 2024 09:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:36.315756
• Title: MT-LENS: An all-in-one Toolkit for Better Machine Translation Evaluation
• Title（参考訳）: MT-LENS: 機械翻訳評価のためのオールインワンツールキット
• Authors: Javier García Gilabert, Carlos Escolano, Audrey Mash, Xixian Liao, Maite Melero,
• Abstract要約: MT-LENSは、様々なタスクで機械翻訳(MT)システムを評価するために設計されたフレームワークである。 ユーザーフレンドリーなプラットフォームを提供し、システムを比較し、翻訳をインタラクティブな視覚化で分析する。
• 参考スコア（独自算出の注目度）: 1.7775825387442485
• License:
• Abstract: We introduce MT-LENS, a framework designed to evaluate Machine Translation (MT) systems across a variety of tasks, including translation quality, gender bias detection, added toxicity, and robustness to misspellings. While several toolkits have become very popular for benchmarking the capabilities of Large Language Models (LLMs), existing evaluation tools often lack the ability to thoroughly assess the diverse aspects of MT performance. MT-LENS addresses these limitations by extending the capabilities of LM-eval-harness for MT, supporting state-of-the-art datasets and a wide range of evaluation metrics. It also offers a user-friendly platform to compare systems and analyze translations with interactive visualizations. MT-LENS aims to broaden access to evaluation strategies that go beyond traditional translation quality evaluation, enabling researchers and engineers to better understand the performance of a NMT model and also easily measure system's biases.
• Abstract（参考訳）: MT-LENSは,翻訳品質,性差検出,毒性の追加,誤操作に対する堅牢性など,さまざまなタスクにまたがる機械翻訳(MT)システムの評価を目的としたフレームワークである。 いくつかのツールキットは、LLM(Large Language Models)の能力をベンチマークするのに非常に人気があるが、既存の評価ツールはMTパフォーマンスの様々な側面を徹底的に評価する能力に欠けることが多い。 MT-LENSは、MTのLM-eval-harnessの機能を拡張し、最先端のデータセットをサポートし、幅広い評価指標をサポートすることで、これらの制限に対処する。 また、ユーザーフレンドリーなプラットフォームでシステムを比較し、翻訳をインタラクティブな視覚化で分析する。 MT-LENSは、従来の翻訳品質評価以上の評価戦略へのアクセスを拡大することを目的としており、研究者やエンジニアはNMTモデルの性能をよりよく理解し、システムのバイアスを簡単に測定できる。

関連論文リスト

• Beyond Correlation: Interpretable Evaluation of Machine Translation Metrics [46.71836180414362]
  本稿では,機械翻訳(MT)メトリクスの解釈可能な評価フレームワークを提案する。 このフレームワーク内では、データフィルタリングと翻訳の再ランク付けユースケースのプロキシとして機能する2つのシナリオでメトリクスを評価する。 また、DA+SQMガイドラインに従って、手動でキュレートしたデータの信頼性に関する懸念も提起する。
  論文  参考訳（メタデータ） (2024-10-07T16:42:10Z)
• Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding [73.32763904267186]
  大きな言語モデル(LLM)は、優れた翻訳品質を達成する可能性を示す。 我々は,NMTシステムを事前翻訳モデルとして扱うCooperative Decoding(CoDec)と,MT指向LLMを補足解として提案する。
  論文  参考訳（メタデータ） (2023-11-06T03:41:57Z)
• Automating Behavioral Testing in Machine Translation [9.151054827967933]
  本稿では,機械翻訳モデルの振る舞いをテストするために,大規模言語モデルを用いてソース文を生成することを提案する。 MTモデルが一致した候補集合を通して期待される振る舞いを示すかどうかを検証することができる。 本研究の目的は,人的労力を最小限に抑えながら,MTシステムの動作試験を実践することである。
  論文  参考訳（メタデータ） (2023-09-05T19:40:45Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• BLEURT Has Universal Translations: An Analysis of Automatic Metrics by Minimum Risk Training [64.37683359609308]
  本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。 BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。 詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
  論文  参考訳（メタデータ） (2023-07-06T16:59:30Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• Machine Translation Impact in E-commerce Multilingual Search [0.0]
  言語間情報検索は機械翻訳の品質と高い相関関係を持つ。 クエリ翻訳の品質を改善することで、検索性能をさらに向上するメリットはほとんど、あるいは全く得られない、というしきい値が存在するかもしれない。
  論文  参考訳（メタデータ） (2023-01-31T21:59:35Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• Prompting PaLM for Translation: Assessing Strategies and Performance [16.73524055296411]
  経路言語モデル (PaLM) は, 同様に訓練されたLLMの中で最強の機械翻訳(MT)性能を示した。 我々は、PaLMのMT機能に関する以前の評価を、より最近のテストセット、現代のMTメトリクス、そして人間の評価で再検討し、その性能は、印象的ではあるが、最先端の監視システムよりも遅れていることを発見した。
  論文  参考訳（メタデータ） (2022-11-16T18:42:37Z)
• HilMeMe: A Human-in-the-Loop Machine Translation Evaluation Metric Looking into Multi-Word Expressions [6.85316573653194]
  言語的に動機づけたHuman-in-the-loop評価尺度の設計と実装について,慣用的および用語的マルチワード表現(MWEs)について述べる。 MWEは、MWEを正確で意味のある等価な方法で認識・翻訳する能力を調べることで、異なるMTシステムを区別する主要な要因の1つである。
  論文  参考訳（メタデータ） (2022-11-09T21:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。