論文の概要: Beyond Reference-Based Evaluation: Reward Models for Meta-Evaluation of Grammatical Error Correction

• arxiv url: http://arxiv.org/abs/2609.21231v1
• Date: Fri, 18 Sep 2026 02:24:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.832395
• Title: Beyond Reference-Based Evaluation: Reward Models for Meta-Evaluation of Grammatical Error Correction
• Title（参考訳）: 基準に基づく評価を超えて:文法的誤り訂正のメタ評価のためのリワードモデル
• Abstract要約: 参照不要なメタ評価器として,SEEDAからの人選好データに基づいてトレーニングされた報酬モデルRM-EVALを紹介する。 Reward-Guided Text Generation を用いて GEC 生成を改善するための学習信号として,同じ報酬モデルを用いることができることを示す。
• 参考スコア（独自算出の注目度）: 12.30985217397622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reference-based metrics for Grammatical Error Correction (GEC) such as M$^2$ and ERRANT assume that the reference set enumerates all valid edits, and therefore often penalize corrections that are grammatical and meaning-preserving but phrased differently. We introduce RM-EVAL, a reward model trained on human preference data from SEEDA, as a reference-free meta-evaluator that predicts human-like quality judgments at both full-sequence and partial-sequence levels. Beyond evaluation, we show that the same reward model can be used as a learning signal to improve GEC generation via Reward-Guided Text Generation (RGTG), which keeps a base GEC model frozen and performs online, reward-driven decoding. Across SEEDA, RM-EVAL achieves strong agreement with human rankings, and RGTG yields consistent gains in reward and external validation, demonstrating a unified framework for both assessing and enhancing GEC systems without relying on gold references.
• Abstract（参考訳）: M$^2$ や ERRANT のような文法的誤り訂正(GEC)の基準ベースのメトリクスは、参照セットがすべての有効な編集を列挙していると仮定し、したがって文法的かつ保存的だが異なる言い回しをすることが多い。 本研究は,SEEDAからの人選好データに基づいてトレーニングされた報酬モデルRM-EVALを,フルシーケンスと部分シーケンスの両方でヒトのような品質判断を予測できる参照フリーなメタ評価器として紹介する。 評価の他に、同じ報酬モデルを学習信号として使用して、基礎となるGECモデルを凍結し、オンラインの報酬駆動復号を行うRGTG(Reward-Guided Text Generation)を用いて、GEC生成を改善することができることを示す。 SEEDA全体では、RM-EVALはヒトのランキングと強く一致し、RGTGは報酬と外部の検証において一貫した利得を得る。

関連論文リスト

• RAGR: Review-Augmented Generative Recommendation [61.29879991713178]
  Review-Augmented Generative Recommendation (RAGR)は、レビューフィードバックを直接生成ユーザシーケンスに組み込む新しいGRフレームワークである。 RAGRは、すべてのメトリクスにわたる強力なGRバックボーンよりも一貫性があり、大きな利益をもたらす。
  論文  参考訳（メタデータ） (2026-05-17T05:21:23Z)
• R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging [69.96389360650072]
  解析精度は, 標準ラベルの精度を超えて, 下流RLHFの結果を高い精度で予測できることが示される。 我々は,金の判断でトレーニングを増強し,合理的アライメントを明示的に監督するR-Alignを提案する。
  論文  参考訳（メタデータ） (2026-02-06T15:17:11Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• DSGram: Dynamic Weighting Sub-Metrics for Grammatical Error Correction in the Era of Large Language Models [39.493913608472404]
  大規模言語モデル(LLM)に基づく文法的誤り訂正(GEC)モデルは、提供された金の参照から分岐する修正を生成することが多い。 この不一致は、従来の基準ベースの評価指標の信頼性を損なう。 本稿では,GECモデル,DSGram,Semantic Coherence,Edit Level,Fluencyを統合し,動的重み付け機構を活用する新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-17T11:54:16Z)
• Benchmarking LLMs' Judgments with No Gold Standard [8.517244114791913]
  GEM(Generative Estimator for Mutual Information)は,Large Language Models (LLMs) による言語生成を評価するための評価指標である。 人間の注釈付きデータセットの実験では、GEMは最先端のGPT-4o Examinerと比較して、人間のスコアと競合する相関を示す。 また,学術論文の良質なピアレビューをいかに生み出すかに基づいて,LCMを評価したGREベンチについても紹介する。
  論文  参考訳（メタデータ） (2024-11-11T16:58:36Z)
• Language Model Preference Evaluation with Multiple Weak Evaluators [89.90733463933431]
  PGEDは,複数のモデルに基づく評価器を用いて嗜好グラフを構築し,非循環的非競合性評価結果に対してこれらのグラフをアンサンブルし,デノテーズする手法である。 1)評価のためのモデルランキング、2)テスト時間スケーリングのための応答選択、3)モデル微調整のためのデータ選択である。
  論文  参考訳（メタデータ） (2024-10-14T01:57:25Z)
• CLEME2.0: Towards Interpretable Evaluation by Disentangling Edits for Grammatical Error Correction [29.017965285565765]
  CLEME2.0**は、ヒット補正、誤補正、アンダーコレクト、オーバーコレクトを記述した参照ベースのメトリクスである。 2つの人的判断データセットと6つの基準データセットの実験により,本手法の有効性とロバスト性を実証した。
  論文  参考訳（メタデータ） (2024-07-01T03:35:58Z)
• Neural Quality Estimation with Multiple Hypotheses for Grammatical Error Correction [98.31440090585376]
  文法的誤り訂正(GEC)は、誤りの訂正と言語学習者の書き方の改善を支援することを目的としている。 既存のGECモデルは、激しい修正や多くのエラーの検出に失敗する傾向があります。 本稿では,複数の仮説を用いたGEC品質評価のためのニューラル検証ネットワーク(VERNet)を提案する。
  論文  参考訳（メタデータ） (2021-05-10T15:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。