論文の概要: xCOMET: Transparent Machine Translation Evaluation through Fine-grained Error Detection

• arxiv url: http://arxiv.org/abs/2310.10482v1
• Date: Mon, 16 Oct 2023 15:03:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 13:36:16.614987
• Title: xCOMET: Transparent Machine Translation Evaluation through Fine-grained Error Detection
• Title（参考訳）: xCOMET:微細なエラー検出による透明機械翻訳評価
• Authors: Nuno M. Guerreiro, Ricardo Rei, Daan van Stigt, Luisa Coheur, Pierre Colombo, Andr\'e F.T. Martins
• Abstract要約: xCOMETは、機械翻訳評価アプローチのギャップを埋めるために設計されたオープンソースの学習メトリクスである。 文レベルの評価とエラースパン検出機能を統合し、あらゆるタイプの評価で最先端のパフォーマンスを示す。 また,ストレステストによるロバストネス解析を行い,xCOMETは局所的な臨界誤差や幻覚を同定できることを示す。
• 参考スコア（独自算出の注目度）: 21.116517555282314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Widely used learned metrics for machine translation evaluation, such as COMET and BLEURT, estimate the quality of a translation hypothesis by providing a single sentence-level score. As such, they offer little insight into translation errors (e.g., what are the errors and what is their severity). On the other hand, generative large language models (LLMs) are amplifying the adoption of more granular strategies to evaluation, attempting to detail and categorize translation errors. In this work, we introduce xCOMET, an open-source learned metric designed to bridge the gap between these approaches. xCOMET integrates both sentence-level evaluation and error span detection capabilities, exhibiting state-of-the-art performance across all types of evaluation (sentence-level, system-level, and error span detection). Moreover, it does so while highlighting and categorizing error spans, thus enriching the quality assessment. We also provide a robustness analysis with stress tests, and show that xCOMET is largely capable of identifying localized critical errors and hallucinations.
• Abstract（参考訳）: COMETやBLEURTのような機械翻訳評価に広く用いられている学習指標は、単一の文レベルスコアを提供することで翻訳仮説の品質を推定する。 そのため、翻訳エラーに関する洞察がほとんどない(例えば、エラーは何か、深刻度は何か)。 一方, 生成型大規模言語モデル (LLM) は, より粒度の細かい評価戦略の採用を増幅し, 翻訳誤りを詳細に分類しようとしている。 本稿では,これらのアプローチ間のギャップを埋めるために設計された,オープンソースの学習指標であるxCOMETを紹介する。 xCOMETは文レベルの評価とエラースパン検出機能を統合し、あらゆるタイプの評価(文レベル、システムレベル、エラースパン検出)で最先端のパフォーマンスを示す。 さらに、エラーをハイライトし、分類しながら、それによって品質評価が強化される。 また,ストレステストによるロバストネス解析を行い,xCOMETは局所的な臨界誤差や幻覚を同定できることを示す。

関連論文リスト

• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 LLM評価器によって予測されるエラーアノテーションの品質を高めるために,ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを導入する。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)
• xTower: A Multilingual LLM for Explaining and Correcting Translation Errors [22.376508000237042]
  xTower は TowerBase 上に構築されたオープンな大規模言語モデル (LLM) である。 翻訳品質の大幅な向上を示すために, 様々な実験装置を用いてxTowerを検証した。
  論文  参考訳（メタデータ） (2024-06-27T18:51:46Z)
• Detecting Errors through Ensembling Prompts (DEEP): An End-to-End LLM Framework for Detecting Factual Errors [11.07539342949602]
  本稿では,テキスト要約における事実誤り検出のためのエンドツーエンドフレームワークを提案する。 我々のフレームワークは、様々なLCMプロンプトを使用して、事実の矛盾を識別する。 我々は、アンサンブルされたモデルを校正し、テキストが実際に一貫した、あるいは幻覚のない、経験的に正確な確率を生成する。
  論文  参考訳（メタデータ） (2024-06-18T18:59:37Z)
• Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets [92.38654521870444]
  ACESは146の言語ペアにまたがる対照的な課題セットです。 このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。 我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-01-29T17:17:42Z)
• SUT: Active Defects Probing for Transcompiler Models [24.01532199512389]
  我々は、プログラミング言語翻訳のための新しいメトリクスを導入し、これらのメトリクスは基本的な構文エラーに対処する。 実験によると、ChatGPTのような強力なモデルでさえ、これらの基本的な単体テストで間違いを犯している。
  論文  参考訳（メタデータ） (2023-10-22T07:16:02Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• Detecting over/under-translation errors for determining adequacy in human translations [0.0]
  本稿では,翻訳評価における誤りチェックの一部として,OT/UT(Over and Under translations)の新たな手法を提案する。 我々は、機械翻訳(mt)出力に制限はせず、特に人間が生成した翻訳パイプラインでアプリケーションをターゲットにしています。 本システムの目的は、人間の翻訳ビデオ字幕からOT/UTエラーを高いエラーリコールで識別することである。
  論文  参考訳（メタデータ） (2021-04-01T06:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。