論文の概要: Time Is Effort: Estimating Human Post-Editing Time for Grammar Error Correction Tool Evaluation

• arxiv url: http://arxiv.org/abs/2510.04394v1
• Date: Sun, 05 Oct 2025 23:24:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.6263
• Title: Time Is Effort: Estimating Human Post-Editing Time for Grammar Error Correction Tool Evaluation
• Title（参考訳）: タイム・イズ・エフォート:文法誤り訂正ツール評価のための人事後編集時間の推定
• Authors: Ankit Vadehra, Bill Johnson, Gene Saunders, Pascal Poupart,
• Abstract要約: 後編集(PE)時間アノテーションと修正のための大規模なデータセットを初めて提示する。 データセットを用いて、テキスト編集においてGECツールが保存する時間量を定量化する。
• 参考スコア（独自算出の注目度）: 13.99389592203404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text editing can involve several iterations of revision. Incorporating an efficient Grammar Error Correction (GEC) tool in the initial correction round can significantly impact further human editing effort and final text quality. This raises an interesting question to quantify GEC Tool usability: How much effort can the GEC Tool save users? We present the first large-scale dataset of post-editing (PE) time annotations and corrections for two English GEC test datasets (BEA19 and CoNLL14). We introduce Post-Editing Effort in Time (PEET) for GEC Tools as a human-focused evaluation scorer to rank any GEC Tool by estimating PE time-to-correct. Using our dataset, we quantify the amount of time saved by GEC Tools in text editing. Analyzing the edit type indicated that determining whether a sentence needs correction and edits like paraphrasing and punctuation changes had the greatest impact on PE time. Finally, comparison with human rankings shows that PEET correlates well with technical effort judgment, providing a new human-centric direction for evaluating GEC tool usability. We release our dataset and code at: https://github.com/ankitvad/PEET_Scorer.
• Abstract（参考訳）: テキスト編集には、いくつかのリビジョンが伴うことがある。 最初の修正ラウンドに効率的な文法誤り訂正(GEC)ツールを組み込むことは、人間の編集努力と最終的なテキスト品質に大きな影響を及ぼす可能性がある。 GECツールのユーザビリティを定量化するために、興味深い疑問が浮かび上がっている。 本稿では,2つの英語 GEC テストデータセット (BEA19 と CoNLL14) に対して,PE 時間アノテーションと修正のための大規模なデータセットを提案する。 GECツールの編集後努力 (PEET) を人為的評価スコアとして導入し, PEのタイム・トゥ・コレクティブを推定することにより, GECツールのランク付けを行う。 データセットを用いて、テキスト編集においてGECツールが保存する時間量を定量化する。 編集タイプを解析したところ、文章が修正が必要かどうかを判断し、パラフレージングや句読点変更のような編集がPE時間に最も影響したことが示された。 最後に,人的ランキングと比較すると,PEETは技術的努力判断とよく相関し,GECツールのユーザビリティを評価するための新たな人間中心の方向性を提供する。 データセットとコードは、https://github.com/ankitvad/PEET_Scorer.comでリリースしています。

関連論文リスト

• Data Augmentation for Spoken Grammatical Error Correction [33.192165163181315]
  本稿では,文法的誤りと不一致を伴う音声テキストペアを生成する完全自動化手法を提案する。 S&I Corpusは文法エラーアノテーションを付加した最初の公開音声データセットである。
  論文  参考訳（メタデータ） (2025-07-25T15:25:17Z)
• Adapting LLMs for Minimal-edit Grammatical Error Correction [0.0]
  本稿では,誤り率適応のトピックについて検討し,新しいトレーニングスケジュール法を提案する。 我々の実験は、BEA-testセット上の単一モデルシステムに対して、新しい最先端の結果を設定しました。 我々は、デトークン化されたデータセットのトレーニングが結果に影響を与えるかどうかを分析し、修正された誤例を用いてデータセットの使用の影響を計測する。
  論文  参考訳（メタデータ） (2025-06-16T07:00:48Z)
• Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation [73.9145653659403]
  生成誤差補正モデルは、トレーニング中に発生する特定の種類のエラーを超えて一般化することが困難であることを示す。 DARAGは、ドメイン内(ID)およびOODシナリオにおけるASRのためのGCCを改善するために設計された新しいアプローチである。 私たちのアプローチはシンプルでスケーラブルで、ドメインと言語に依存しません。
  論文  参考訳（メタデータ） (2024-10-17T04:00:29Z)
• Grammatical Error Correction via Mixed-Grained Weighted Training [68.94921674855621]
  文法的誤り訂正(英: Grammatical Error Correction, GEC)は、自然文における文法的誤りを自動的に補正することを目的としている。 MainGECは、データアノテーションの正確性と潜在的な多様性の固有の相違に基づいて、トークンレベルおよび文レベルトレーニングウェイトを設計する。
  論文  参考訳（メタデータ） (2023-11-23T08:34:37Z)
• RobustGEC: Robust Grammatical Error Correction Against Subtle Context Perturbation [64.2568239429946]
  本稿では,GECシステムのコンテキストロバスト性を評価するためのベンチマークであるRobustGECを紹介する。 現状のGECシステムには, 文脈摂動に対する十分な堅牢性がないことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-11T08:33:23Z)
• ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark [11.36853733574956]
  ChatGPTはOpenAIが開発した最先端の人工知能言語モデルである。 商用のGEC製品(例:Grammarly)や最先端のモデル(例:GECToR)と比較する。 また,ChatGPTは,自動評価指標の基準値ほど性能が良くないことがわかった。
  論文  参考訳（メタデータ） (2023-03-15T00:35:50Z)
• Revisiting Grammatical Error Correction Evaluation and Beyond [38.12193886109598]
  本稿では,事前学習によるGEC評価の理解と改善に向けた第一歩を踏み出す。 PT-M2 は,PT-M2 で補正された部分のみを計測し,両世界の長所を達成するための新しい GEC 評価指標を提案する。
  論文  参考訳（メタデータ） (2022-11-03T07:55:12Z)
• ErAConD : Error Annotated Conversational Dialog Dataset for Grammatical Error Correction [30.917993017459615]
  本稿では,オープンドメイン会話から抽出した新しい並列文法誤り訂正データセットを提案する。 このデータセットは、私たちの知る限り、会話の設定をターゲットにした最初のECCデータセットです。 データセットの有用性を実証するために、アノテーション付きデータを用いて最先端のECCモデルを微調整する。
  論文  参考訳（メタデータ） (2021-12-15T20:27:40Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Neural Quality Estimation with Multiple Hypotheses for Grammatical Error Correction [98.31440090585376]
  文法的誤り訂正(GEC)は、誤りの訂正と言語学習者の書き方の改善を支援することを目的としている。 既存のGECモデルは、激しい修正や多くのエラーの検出に失敗する傾向があります。 本稿では,複数の仮説を用いたGEC品質評価のためのニューラル検証ネットワーク(VERNet)を提案する。
  論文  参考訳（メタデータ） (2021-05-10T15:04:25Z)
• A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction [54.569707226277735]
  既存の文法的誤り訂正(GEC)のアプローチは、手動で作成したGECデータセットによる教師あり学習に依存している。 誤りが不適切に編集されたり、修正されなかったりする「ノイズ」は無視できないほどある。 本稿では,既存のモデルの予測整合性を利用して,これらのデータセットをデノマイズする自己補充手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T04:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。