論文の概要: Quizzing the Translation: A Prover-Grounded Evaluation Metric for NL$\rightarrow$FOL

• arxiv url: http://arxiv.org/abs/2609.33612v1
• Date: Sun, 27 Sep 2026 14:27:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:15:33.927472
• Title: Quizzing the Translation: A Prover-Grounded Evaluation Metric for NL$\rightarrow$FOL
• Title（参考訳）: 翻訳のクイズ:NL$\rightarrow$FOLの評価基準
• Abstract要約: 対象の式から2種類のプローブを導出するSIVを導入し、定理証明器を用いて各候補の翻訳を検証する。 SIVはAUCのトップに到達し、専門家がラベル付けした大きなエラーを独自に検出し、格付けする。
• 参考スコア（独自算出の注目度）: 12.926200678759116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A standard pipeline for symbolic reasoning over natural-language problems translates them into first-order logic and invokes a theorem prover. The translation step is the bottleneck: swap "every" for "some" and every inference that follows is corrupted. Yet today's metrics often score more broken translations higher than less broken ones, because BLEU, BERTScore, and Smatch++ reward surface overlap that the worst errors happen to preserve. We introduce SIV, which derives two kinds of probes from the target formula and uses a theorem prover to verify the candidate translation against each. Positive probes are statements the candidate must entail, which detect translations that drop content; contrastive probes are statements the candidate must not entail, which detect translations that assert more than the original. On a controlled pool of perturbed FOLIO translations, the severity of the error accounts for 80% of SIV's score variance, compared with at most 17% for any prior metric. Across six error classes on a disjoint pool, SIV scores the reference above the perturbed candidate in over 99% of pairs. Because each probe is labeled with what it tests, the failure pattern also supplies a labeled error trace, recovering the perturbation class at macro-F1 0.638, nearly double the score-only baseline. On 434 expert-audited real LLM translations, SIV attains the top AUC, uniquely detects and grades expert-labeled major errors, and abstains, rather than mis-scoring, on out-of-vocabulary translations.
• Abstract（参考訳）: 自然言語問題に対する記号的推論のための標準的なパイプラインは、それらを一階述語論理に変換し、定理証明器を呼び出す。 翻訳のステップはボトルネックであり、"every"を"some"に置き換え、次の推論はすべて失敗する。 BLEU、BERTScore、Smatch++の報酬は、最悪のエラーが保存されるように重複しているためである。 対象の式から2種類のプローブを導出するSIVを導入し、定理証明器を用いて各候補の翻訳を検証する。 正のプローブは、候補が含意すべき文であり、内容が低下する翻訳を検出する; 対照的なプローブは、候補が含意すべきでない文であり、原文以上に主張する翻訳を検出する。 摂動FOLIO翻訳の制御プールでは、誤差の重大度がSIVのスコア分散の80%を占める。 分離プール上の6つのエラークラスの中で、SIVは99%以上のペアで摂動候補の上の基準をスコア付けする。 それぞれのプローブにラベルが付けられているため、障害パターンはラベル付きエラートレースも提供し、マクロF1 0.638で摂動クラスを回復し、スコアのみのベースラインがほぼ2倍になる。 434人の専門家による実際のLLM翻訳では、SIVはAUCの上位に到達し、専門家がラベル付けした大きなエラーを独自に検出し、評価し、失格する。

関連論文リスト

• Quantifying the Impact of Translation Errors on Multilingual LLM Evaluation [8.48956061615262]
  機械翻訳ベンチマークは、大規模言語モデル(LLM)の多言語能力を評価するために広く用いられている。 MQM形式の自動エラーがLLMの判断と,QEのベースラインからどの程度の精度で発生するか,という2つの現実的なギャップに対処する。 自然発生型ベンチマーク翻訳ではスパンの一致は自明であり, ターゲット側の翻訳誤差は, 翻訳精度において測定可能なパーセンテージ・ポイント・ドロップと一貫して関連していることがわかった。
  論文  参考訳（メタデータ） (2026-05-24T07:06:34Z)
• FLARE: One-Shot PE-Level Fault Localization in Systolic Arrays via Algebraic Test Vectors [1.2202677752692377]
  シストリックアレイは、ニューラルネットワーク推論において支配的な計算ファブリックである。 以前の作業では、均一なテストパターンでカラムレベルの障害検出を効率的に処理していた。 しかし、故障列内の行レベルの障害局所化は、ハードウェアの冗長性に頼らずに未解決のままである。
  論文  参考訳（メタデータ） (2026-05-09T01:22:28Z)
• Beyond Translation Accuracy: Addressing False Failures in LLM-Based Code Translation [2.3411689215528346]
  大規模言語モデル(LLM)は、自動コード翻訳において大きな成功を収めた。 本稿では,コード翻訳における誤りの報告は,誤った論理によるものではなく,むしろ評価による誤りによるものであることを実証する。
  論文  参考訳（メタデータ） (2026-05-04T03:49:58Z)
• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。 実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)
• xCOMET: Transparent Machine Translation Evaluation through Fine-grained Error Detection [21.116517555282314]
  xCOMETは、機械翻訳評価アプローチのギャップを埋めるために設計されたオープンソースの学習メトリクスである。 文レベルの評価とエラースパン検出機能を統合し、あらゆるタイプの評価で最先端のパフォーマンスを示す。 また,ストレステストによるロバストネス解析を行い,xCOMETは局所的な臨界誤差や幻覚を同定できることを示す。
  論文  参考訳（メタデータ） (2023-10-16T15:03:14Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• Not All Errors are Equal: Learning Text Generation Metrics using Stratified Error Synthesis [79.18261352971284]
  人間のアノテーションを必要とせずに、人間の判断と高い相関関係を持つモデルベースの計量であるSESCOREを紹介する。 既存の指標に対してSESCOREを評価し,そのスコアと人間の評価との関係を比較検討した。 SESCOREは、人間による注釈付きトレーニングデータを受け取らず、最高の教師付きメトリックCOMETに匹敵するパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2022-10-10T22:30:26Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• Mismatching-Aware Unsupervised Translation Quality Estimation For Low-Resource Languages [6.049660810617423]
  XLMRScoreは、XLM-RoBERTa (XLMR)モデルで計算されたBERTScoreの言語間対応である。 WMT21QE共有タスクの4つの低リソース言語対に対して提案手法を評価する。
  論文  参考訳（メタデータ） (2022-07-31T16:23:23Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。