論文の概要: The Lay of the Land in Idiom-Translation Quality Estimation

• arxiv url: http://arxiv.org/abs/2610.35261v1
• Date: Mon, 26 Oct 2026 11:41:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.845204
• Title: The Lay of the Land in Idiom-Translation Quality Estimation
• Title（参考訳）: Idiom-Translation Quality Estimation における土地のレイアウト
• Abstract要約: 本文では,文字と慣用句の翻訳を併用した,最初のパラレルデータセットペアリング型英語文を紹介する。 多くのシステム、特に古いモデル、より小さなモデルでは、顕著なリテラリティバイアスがあり、慣用的なモデルよりもイディオムのリテラルが評価されている。
• 参考スコア（独自算出の注目度）: 23.7663178803576
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Idioms have long been a challenge for machine translation, and while large language models (LLMs) have proven increasingly adept at handling them, whether quality estimation (QE) systems have kept pace and can reliably score idiomatic renderings of these expressions above faulty literal ones remains unclear. We introduce the first parallel dataset pairing idiom-bearing English sentences with both literal and idiomatic translations across nine target languages, augmented into multi-sentence segments and a graded literality continuum. Using this dataset, we benchmark eleven conventional QE metrics from the COMET and MetricX families and ten LLMs from the Qwen-3, Gemma-4 and OLMo-3 families used as GEMBA-style judges. We find that most systems, especially older metrics and smaller models, display a marked literality bias, rating literal translations of idioms above idiomatic ones. Higher parameter counts and newer training sets appear to reduce this bias to an extent; nevertheless, of all the benchmarked systems, only MetricX-24-Hybrid (XL, XXL) and Gemma-4-31B consistently rate idiomatic translations of idioms above literal ones, and only Gemma-4-31B reliably ranks intermediate degrees of idiomaticity and literality. Our findings caution against deploying standard QE metrics in domains rich in figurative language, where higher scores might be rewarding undesirable literalism.
• Abstract（参考訳）: 慣用句は機械翻訳にとって長年の課題であり、大規模言語モデル(LLM)はそれらを扱うのにますます適していることが証明されているが、品質推定(QE)システムがペースを保ち、これらの表現の慣用的レンダリングを欠陥リテラルよりも確実に評価できるかどうかはまだ不明である。 そこで本研究では,9つの言語にまたがるリテラル翻訳と慣用翻訳,多文セグメントへの拡張,次数付きリテラリティ連続体を用いた最初のパラレルデータセットペアリング英語文を提案する。 本データセットを用いて, COMETおよびMetricXファミリーの従来の11のQE指標と, GEMBAスタイルの判断器として使用されるQwen-3, Gemma-4, OLMo-3ファミリーの10のLLMをベンチマークした。 多くのシステム、特に古いメトリクスとより小さなモデルでは、文字のリテラルバイアスが顕著で、イディオムのリテラルが慣用的なものよりも高く評価されていることが分かりました。 にもかかわらず、全てのベンチマークシステムの中で、MetricX-24-Hybrid (XL, XXL) と Gemma-4-31B のみがリテラル上のイディオムの慣用翻訳を一貫して評価し、Gemma-4-31B のみが慣用度とリテラリティの中間度を確実にランク付けしている。 本研究は,高得点が望ましくないリテラリズムに寄与する可能性のある,図形言語に富んだ領域における標準QE指標の展開に注意するものである。

関連論文リスト

• XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
  9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。 MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
  論文  参考訳（メタデータ） (2026-04-16T12:27:10Z)
• DITING: A Multi-Agent Evaluation Framework for Benchmarking Web Novel Translation [31.1561882673283]
  DIINGは、Webノベル翻訳のための最初の総合的な評価フレームワークである。 AgentEvalは専門家による検討をシミュレートし、語彙オーバーラップを超えて翻訳品質を評価する。 誤りラベルとスカラー品質スコアを付加した300文対のメタ評価データセットであるMetricAlignを開発した。
  論文  参考訳（メタデータ） (2025-10-10T08:10:10Z)
• Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets [92.38654521870444]
  ACESは146の言語ペアにまたがる対照的な課題セットです。 このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。 我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-01-29T17:17:42Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。