論文の概要: Don't Count the Edits, Judge by the Outcome Alone: Reward-Based Evaluation for Grammatical Error Correction

• arxiv url: http://arxiv.org/abs/2609.15559v1
• Date: Mon, 14 Sep 2026 13:40:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.414333
• Title: Don't Count the Edits, Judge by the Outcome Alone: Reward-Based Evaluation for Grammatical Error Correction
• Title（参考訳）: 編集を数えてはならない, アウトカムアローンによる判断: 文法的誤り訂正に対する逆算的評価
• Abstract要約: 我々は、最小限の編集と書き換え指向の修正にまたがる、ソース条件付き報酬評価器SUREを提案する。 SEEDAの実験は、SUREが強いベースラインに対して競争力を発揮することを示している。
• 参考スコア（独自算出の注目度）: 16.472223336988204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grammatical error correction (GEC) evaluation has traditionally relied on reference or edit overlap, which can penalize valid rewrites that differ from gold corrections. Reference-free metrics reduce this dependence, but evaluating whether a fluent output is a valid correction of the source remains challenging. We propose SURE, a source-conditioned reward evaluator trained on within-source preferences spanning minimal-edit and rewrite-oriented corrections. SURE jointly learns an overall reward with criteria-level supervision for grammaticality, faithfulness, and fluency, together with span-level grounding for source-side error resolution. Experiments on SEEDA show that SURE performs competitively against strong baselines, with particular gains on rewrite-style corrections and more disentangled criteria-level diagnostics. Our code is available at https://github.com/hayeonggg/SURE.
• Abstract（参考訳）: 文法的誤り訂正(GEC)の評価は、伝統的に参照や編集の重複に依存しており、金の修正とは異なる有効な書き直しを罰することができる。 基準のないメトリクスは、この依存を減少させるが、流動的な出力がソースの有効な修正であるかどうかを評価することは依然として困難である。 我々は、最小限の編集と書き換え指向の修正にまたがる、ソース条件付き報酬評価器SUREを提案する。 SUREは、文法性、忠実性、流布性に関する基準レベルの監督と、ソース側のエラー解決のためのスパンレベルの基盤を併用して、全体的な報酬を共同で学習する。 SEEDAの実験では、SUREは強い基準線に対して競争的に機能し、特に書き直しスタイルの修正や、より不整合な基準レベルの診断に寄与している。 私たちのコードはhttps://github.com/hayeonggg/SUREで公開されています。

関連論文リスト

• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Refining Word-Based Grammatical Error Annotation for L2 Korean [10.887221248702879]
  韓国の文法的誤り訂正(K-GEC)では,単語に基づく評価と多くの学習者誤りのモーデムレベルの軌跡との間に構造的ミスマッチが生じる。 本稿では,既存の資源の3つの接続問題に対処することにより,L2韓国語に対する単語ベースの文法的誤りアノテーションを改良する。
  論文  参考訳（メタデータ） (2026-05-28T20:27:36Z)
• JELV: A Judge of Edit-Level Validity for Evaluation and Automated Reference Expansion in Grammatical Error Correction [22.662896396339107]
  我々は,文法性,忠実性,流布性から補正編集を検証するために,編集レベル妥当性審査官(JELV)を紹介した。 提案するPair-wise Edit-level Validityデータセット(PEVData)をベンチマークとして,JELVは2つの実装を提供する。 JELV を用いて LLM 生成した訂正候補をフィルタリングし,3,692 個のソース文を含むBEA19 の単一参照データセットを拡張した。
  論文  参考訳（メタデータ） (2025-11-16T05:58:39Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Chain of Correction for Full-text Speech Recognition with Large Language Models [21.37485126269991]
  Chain of Correction (CoC) は、セグメンテーションごとにエラーセグメントを補正するマルチターンチャットフォーマットである。 実験により、CoCはフルテキストASR出力の修正において、ベースラインやベンチマークシステムよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2025-04-02T09:06:23Z)
• Improving Explainability of Sentence-level Metrics via Edit-level Attribution for Grammatical Error Correction [11.512856112792093]
  本稿では,個々の編集に文レベルスコアを寄与させ,特定の修正が全体のパフォーマンスにどのように貢献するかを考察する。 既存の文レベルのメトリクスを用いた実験は、異なる編集粒度間で高い一貫性を示し、人間の評価と約70%の一致を示す。 さらに、帰属結果に基づいてメトリクスのバイアスを分析し、正書法編集を無視する傾向などの傾向を明らかにする。
  論文  参考訳（メタデータ） (2024-12-17T17:31:17Z)
• Error Correction by Paying Attention to Both Acoustic and Confidence References for Automatic Speech Recognition [52.624909026294105]
  本稿では,非自己回帰型音声誤り訂正法を提案する。 信頼モジュールは、N-best ASR仮説の各単語の不確実性を測定する。 提案方式は,ASRモデルと比較して誤差率を21%削減する。
  論文  参考訳（メタデータ） (2024-06-29T17:56:28Z)
• Chinese Spelling Correction as Rephrasing Language Model [63.65217759957206]
  文中のスペル誤りを検知し,訂正することを目的とした中国語スペル補正(CSC)について検討する。 現在の最先端の手法は、CSCをシーケンスタギングタスクと文対上の細いBERTベースのモデルとみなしている。 本稿では,文字から文字へのタグ付けではなく,追加のスロットを埋め込むことで文全体を言い換える言語モデル(ReLM)を提案する。
  論文  参考訳（メタデータ） (2023-08-17T06:04:28Z)
• CLEME: Debiasing Multi-reference Evaluation for Grammatical Error Correction [32.44051877804761]
  チャンクレベル多重参照評価(CLEME)は,多参照評価設定において文法誤り訂正(GEC)システムを評価するように設計されている。 我々は、CoNLL-2014共有タスクに基づく6つの英語参照セットの実験を行う。
  論文  参考訳（メタデータ） (2023-05-18T08:57:17Z)
• Factual Error Correction for Abstractive Summaries Using Entity Retrieval [57.01193722520597]
  本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。 RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。 次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
  論文  参考訳（メタデータ） (2022-04-18T11:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。