Fugu-MT 論文翻訳(概要): From Coarse to Fine: Benchmarking and Reward Modeling for Writing-Centric Generation Tasks

論文の概要: From Coarse to Fine: Benchmarking and Reward Modeling for Writing-Centric Generation Tasks

arxiv url: http://arxiv.org/abs/2604.27453v1
Date: Thu, 30 Apr 2026 05:49:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-01 16:31:53.941813
Title: From Coarse to Fine: Benchmarking and Reward Modeling for Writing-Centric Generation Tasks
Title（参考訳）: 粗いものから細かいものへ:文章中心生成タスクのベンチマークとリワードモデリング
Authors: Qingyu Ren, Tianjun Pan, Xingzhou Chen, Xuhong Wang,
Abstract要約: 大規模な言語モデルは、テキスト生成において顕著な進歩を遂げてきたが、それでも生成的な書き込みタスクに苦戦している。報酬モデルを記述するための細粒度評価パイプラインWEvalと、微粒度強化学習学習フレームワークWRLを提案する。 WRLは命令要求を選択的にドロップすることで正と負のサンプルを構築し、より正確な報酬モデルトレーニングを可能にする。
参考スコア（独自算出の注目度）: 2.2483228605450956
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models have achieved remarkable progress in text generation but still struggle with generative writing tasks. In terms of evaluation, existing benchmarks evaluate writing reward models coarsely and fail to measure performance from the perspective of specific requirements. In terms of training, existing training methods either use LLM-as-a-judge approaches or train coarse-grained reward models, lacking fine-grained requirement-adherence reward modeling. To address these issues, we propose a fine-grained evaluation pipeline WEval for writing reward models and a fine-grained reinforcement learning training framework WRL. The evaluation data of WEval covers multiple task categories and requirement types, enabling systematic evaluation of writing reward models by measuring the correlation between the rankings of the reward model and gold rankings. WRL constructs positive and negative samples by selectively dropping instruction requirements, allowing for more precise reward model training. Experiments show that our models achieve substantial improvements across various writing benchmarks and exhibit strong generalization. The code and data are publicly available at \href{https://github.com/Rainier-rq1/From_Coarse_to_Fine}{https://github.com/Rainier-rq1/From\_Coarse\_to\_Fine}.
Abstract（参考訳）: 大規模な言語モデルはテキスト生成において顕著な進歩を遂げてきたが、それでも生成的な記述タスクに苦戦している。評価の面では、既存のベンチマークは、報酬モデルの記述を粗く評価し、特定の要求の観点からパフォーマンスを測ることに失敗した。トレーニングの面では、既存のトレーニング手法では、LLM-as-a-judgeアプローチまたは粗い粒度の報酬モデルを使用しており、きめ細かい要求順守報酬モデルが欠如している。これらの問題に対処するために、報酬モデルを記述するための細粒度評価パイプラインWEvalと、詳細な強化学習訓練フレームワークWRLを提案する。 WEvalの評価データは、複数のタスクカテゴリと要件タイプをカバーし、報酬モデルのランキングとゴールドランキングの相関を計測することにより、報酬モデルの体系的な評価を可能にする。 WRLは命令要求を選択的にドロップすることで正と負のサンプルを構築し、より正確な報酬モデルトレーニングを可能にする。実験により,本モデルが様々な筆記ベンチマークで大幅に改善され,強力な一般化が得られた。コードとデータは \href{https://github.com/Rainier-rq1/From_Coarse_to_Fine}{https://github.com/Rainier-rq1/From\_Coarse\_to\_Fine} で公開されている。

論文の概要: From Coarse to Fine: Benchmarking and Reward Modeling for Writing-Centric Generation Tasks

関連論文リスト