論文の概要: AskQE: Question Answering as Automatic Evaluation for Machine Translation

• arxiv url: http://arxiv.org/abs/2504.11582v1
• Date: Tue, 15 Apr 2025 19:57:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:40:07.584301
• Title: AskQE: Question Answering as Automatic Evaluation for Machine Translation
• Title（参考訳）: AskQE: 機械翻訳の自動評価のための質問回答
• Authors: Dayeon Ki, Kevin Duh, Marine Carpuat,
• Abstract要約: 本稿では,重要なMTエラーを検出し,実用的なフィードバックを提供するための質問生成および回答フレームワークであるAskQEを紹介する。 そこでAskQEはKendallのTau相関と判定精度を、他のQE指標と比較して高く評価する。
• 参考スコア（独自算出の注目度）: 24.088731832956373
• License:
• Abstract: How can a monolingual English speaker determine whether an automatic translation in French is good enough to be shared? Existing MT error detection and quality estimation (QE) techniques do not address this practical scenario. We introduce AskQE, a question generation and answering framework designed to detect critical MT errors and provide actionable feedback, helping users decide whether to accept or reject MT outputs even without the knowledge of the target language. Using ContraTICO, a dataset of contrastive synthetic MT errors in the COVID-19 domain, we explore design choices for AskQE and develop an optimized version relying on LLaMA-3 70B and entailed facts to guide question generation. We evaluate the resulting system on the BioMQM dataset of naturally occurring MT errors, where AskQE has higher Kendall's Tau correlation and decision accuracy with human ratings compared to other QE metrics.
• Abstract（参考訳）: 英語の単言語話者は、フランス語の自動翻訳が十分に共有できるかどうかをどうやって判断できるのか? 既存のMTエラー検出と品質推定(QE)技術はこの現実的なシナリオに対処しない。 AskQEは、重要なMTエラーを検出し、実行可能なフィードバックを提供するように設計された質問生成および回答フレームワークであり、ターゲット言語を知らないユーザでも、MT出力を受理するか拒否するかを判断するのに役立つ。 新型コロナウイルス(COVID-19)領域における対照的なMTエラーのデータセットであるContraTICOを用いて、AskQEの設計選択を探索し、LLaMA-370Bに依存した最適化版を開発し、質問生成に要する事実を導出する。 そこでAskQEはKendallのTau相関と判定精度を、他のQE指標と比較して高く評価する。

関連論文リスト

• Beyond Correlation: Interpretable Evaluation of Machine Translation Metrics [46.71836180414362]
  本稿では,機械翻訳(MT)メトリクスの解釈可能な評価フレームワークを提案する。 このフレームワーク内では、データフィルタリングと翻訳の再ランク付けユースケースのプロキシとして機能する2つのシナリオでメトリクスを評価する。 また、DA+SQMガイドラインに従って、手動でキュレートしたデータの信頼性に関する懸念も提起する。
  論文  参考訳（メタデータ） (2024-10-07T16:42:10Z)
• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。 実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)
• Multi-Dimensional Machine Translation Evaluation: Model Evaluation and Resource for Korean [7.843029855730508]
  1200文のMQM評価ベンチマークを英語と韓国語で作成する。 参照なしのセットアップはスタイルのディメンションにおいて、それよりも優れています。 全体として、RemBERTは最も有望なモデルとして現れます。
  論文  参考訳（メタデータ） (2024-03-19T12:02:38Z)
• APE-then-QE: Correcting then Filtering Pseudo Parallel Corpora for MT Training Data Creation [48.47548479232714]
  本稿では,APEシステムを用いて機械翻訳訓練データのターゲット側の誤差を補正する修復フィルタ手法を提案する。 品質推定(QE)モデルを用いて計算した品質スコアに基づいて,原文と修正文のペアから文対を選択する。 基本モデルよりも英語・マラティー語・マラティー語における機械翻訳システムの性能を5.64点と9.91点に改善した。
  論文  参考訳（メタデータ） (2023-12-18T16:06:18Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Bring More Attention to Syntactic Symmetry for Automatic Postediting of High-Quality Machine Translations [4.217162744375792]
  本稿では, APE モデルが対象言語に対する理解を深めることが期待される正規化の言語動機付け手法を提案する。 実験結果から,提案手法は高品位MTにおける最先端アーキテクチャの APE 品質向上に有効であることが示された。
  論文  参考訳（メタデータ） (2023-05-17T20:25:19Z)
• Perturbation-based QE: An Explainable, Unsupervised Word-level Quality Estimation Method for Blackbox Machine Translation [12.376309678270275]
  摂動に基づくQEは、単に摂動入力元文上で出力されるMTシステムを分析することで機能する。 我々のアプローチは、教師付きQEよりも、翻訳における性別バイアスや単語センスの曖昧さの誤りを検出するのに優れている。
  論文  参考訳（メタデータ） (2023-05-12T13:10:57Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• Unsupervised Quality Estimation for Neural Machine Translation [63.38918378182266]
  既存のアプローチでは、大量の専門家アノテートデータ、計算、トレーニング時間が必要です。 MTシステム自体以外に、トレーニングや追加リソースへのアクセスが不要なQEに対して、教師なしのアプローチを考案する。 我々は品質の人間の判断と非常によく相関し、最先端の教師付きQEモデルと競合する。
  論文  参考訳（メタデータ） (2020-05-21T12:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。