論文の概要: LQM: Linguistically Motivated Multidimensional Quality Metrics for Machine Translation

• arxiv url: http://arxiv.org/abs/2604.18490v1
• Date: Mon, 20 Apr 2026 16:41:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:53.002193
• Title: LQM: Linguistically Motivated Multidimensional Quality Metrics for Machine Translation
• Title（参考訳）: LQM:機械翻訳のための言語的に動機付けられた多次元品質指標
• Authors: Samar M. Magdy, Fakhraddin Alwajih, Abdellah El Mekki, Wesam El-Sayed, Muhammad Abdul-Mageed,
• Abstract要約: MTのためのLQM:Linguistically Motivated Multidimensional Quality Metricsを紹介する。 LQMは、6つの言語レベルでMTエラーを診断するための階層的エラー分類である。 6,113個のラベル付き誤りを3,495個の誤り文に分散し、重度重み付けされた品質スコアを出力する。
• 参考スコア（独自算出の注目度）: 27.415791404495696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing MT evaluation frameworks, including automatic metrics and human evaluation schemes such as Multidimensional Quality Metrics (MQM), are largely language-agnostic. However, they often fail to capture dialect- and culture-specific errors in diglossic languages (e.g., Arabic), where translation failures stem from mismatches in language variety, content coverage, and pragmatic appropriateness rather than surface form alone.We introduce LQM: Linguistically Motivated Multidimensional Quality Metrics for MT. LQM is a hierarchical error taxonomy for diagnosing MT errors through six linguistically grounded levels: sociolinguistics, pragmatics, semantics, morphosyntax, orthography, and graphetics (Figure 1). We construct a bidirectional parallel corpus of 3,850 sentences (550 per variety) spanning seven Arabic dialects (Egyptian, Emirati, Jordanian, Mauritanian, Moroccan, Palestinian, and Yemeni), derived from conversational, culturally rich content. We evaluate six LLMs in a zero-shot setting and conduct expert span-level human annotation using LQM, producing 6,113 labeled error spans across 3,495 unique erroneous sentences, along with severity-weighted quality scores. We complement this analysis with an automatic metric (spBLEU). Though validated here on Arabic, LQM is a language-agnostic framework designed to be easily applied to or adapted for other languages. LQM annotated errors data, prompts, and annotation guidelines are publicly available at https://github.com/UBC-NLP/LQM_MT.
• Abstract（参考訳）: 既存のMT評価フレームワークでは,自動計測や多次元品質測定(MQM)などの人的評価手法がほとんど言語に依存しない。 LQM:LQM:Linguistically Motivated Multidimensional Quality Metrics for MT.LQM is a hierarchical error taxonomy for diagnosing MT error through six languagely basised levels: Sociallinguistics, pragmatics, semantics, morphosyntax, orthography, Graphetics (Figure 1)。 アラビア語の7方言(エジプト語、エミラティ語、ヨルダン語、モーリタニア語、モロッコ語、パレスチナ語、イエメン語)にまたがる3,850の文からなる双方向の並列コーパスを構築する。 LQMを用いて、6つのLDMをゼロショット設定で評価し、6,113個のラベル付き誤り範囲を3,495個の誤り文と重度重み付き品質スコアで生成する。 我々はこの分析を自動計量(spBLEU)で補完する。 アラビア語で検証されているが、LQMは言語に依存しないフレームワークであり、他の言語にも容易に適用または適応できるように設計されている。 LQMアノテーション付きエラーデータ、プロンプト、アノテーションガイドラインはhttps://github.com/UBC-NLP/LQM_MTで公開されている。

関連論文リスト

• Making Large Language Models Speak Tulu: Structured Prompting for an Extremely Low-Resource Language [1.0742675209112622]
  制御プロンプト下では,構造化プロンプトだけで基本的な会話能力を引き出すことができるかを検討する。 我々は、明示的な文法文書、関連する言語からの高確率トークンの抑制のための負の制約、ロマン化標準化、そして自己再生による品質制御された合成データ生成を組み合わせる。 本手法は,85%の精度で語彙汚染を80%から5%に低減する。
  論文  参考訳（メタデータ） (2026-02-17T06:20:09Z)
• SiniticMTError: A Machine Translation Dataset with Error Annotations for Sinitic Languages [4.298924990628206]
  SiniticMTErrorは、既存の並列コーパス上に構築された新しいデータセットで、エラースパン、エラータイプ、エラー重大度アノテーションを提供する。 我々のデータセットは、エラー検出機能を備えた微調整モデルを利用するためのMTコミュニティのリソースとして役立ちます。 本稿では,言語話者による厳密なアノテーションプロセスについて報告し,アノテーション間の合意,反復的フィードバック,エラータイプおよび重大度パターンの分析を行った。
  論文  参考訳（メタデータ） (2025-09-24T20:50:09Z)
• Grammatical Error Correction for Low-Resource Languages: The Case of Zarma [8.40484790921164]
  文法的誤り訂正は、テキストの品質と可読性を改善することを目的としている。 西アフリカで500万人以上が話していたGEC for Zarmaについて検討する。 ルールベース手法,機械翻訳(MT)モデル,大規模言語モデルという3つのアプローチを比較した。
  論文  参考訳（メタデータ） (2024-10-20T23:51:36Z)
• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。 実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
  専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。 CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。 言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
  論文  参考訳（メタデータ） (2022-11-04T12:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。