論文の概要: From Coarse to Fine: Benchmarking and Reward Modeling for Writing-Centric Generation Tasks

• arxiv url: http://arxiv.org/abs/2604.27453v1
• Date: Thu, 30 Apr 2026 05:49:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.941813
• Title: From Coarse to Fine: Benchmarking and Reward Modeling for Writing-Centric Generation Tasks
• Title（参考訳）: 粗いものから細かいものへ:文章中心生成タスクのベンチマークとリワードモデリング
• Abstract要約: 大規模な言語モデルは、テキスト生成において顕著な進歩を遂げてきたが、それでも生成的な書き込みタスクに苦戦している。 報酬モデルを記述するための細粒度評価パイプラインWEvalと、微粒度強化学習学習フレームワークWRLを提案する。 WRLは命令要求を選択的にドロップすることで正と負のサンプルを構築し、より正確な報酬モデルトレーニングを可能にする。
• 参考スコア（独自算出の注目度）: 2.2483228605450956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have achieved remarkable progress in text generation but still struggle with generative writing tasks. In terms of evaluation, existing benchmarks evaluate writing reward models coarsely and fail to measure performance from the perspective of specific requirements. In terms of training, existing training methods either use LLM-as-a-judge approaches or train coarse-grained reward models, lacking fine-grained requirement-adherence reward modeling. To address these issues, we propose a fine-grained evaluation pipeline WEval for writing reward models and a fine-grained reinforcement learning training framework WRL. The evaluation data of WEval covers multiple task categories and requirement types, enabling systematic evaluation of writing reward models by measuring the correlation between the rankings of the reward model and gold rankings. WRL constructs positive and negative samples by selectively dropping instruction requirements, allowing for more precise reward model training. Experiments show that our models achieve substantial improvements across various writing benchmarks and exhibit strong generalization. The code and data are publicly available at \href{https://github.com/Rainier-rq1/From_Coarse_to_Fine}{https://github.com/Rainier-rq1/From\_Coarse\_to\_Fine}.
• Abstract（参考訳）: 大規模な言語モデルはテキスト生成において顕著な進歩を遂げてきたが、それでも生成的な記述タスクに苦戦している。 評価の面では、既存のベンチマークは、報酬モデルの記述を粗く評価し、特定の要求の観点からパフォーマンスを測ることに失敗した。 トレーニングの面では、既存のトレーニング手法では、LLM-as-a-judgeアプローチまたは粗い粒度の報酬モデルを使用しており、きめ細かい要求順守報酬モデルが欠如している。 これらの問題に対処するために、報酬モデルを記述するための細粒度評価パイプラインWEvalと、詳細な強化学習訓練フレームワークWRLを提案する。 WEvalの評価データは、複数のタスクカテゴリと要件タイプをカバーし、報酬モデルのランキングとゴールドランキングの相関を計測することにより、報酬モデルの体系的な評価を可能にする。 WRLは命令要求を選択的にドロップすることで正と負のサンプルを構築し、より正確な報酬モデルトレーニングを可能にする。 実験により,本モデルが様々な筆記ベンチマークで大幅に改善され,強力な一般化が得られた。 コードとデータは \href{https://github.com/Rainier-rq1/From_Coarse_to_Fine}{https://github.com/Rainier-rq1/From\_Coarse\_to\_Fine} で公開されている。

関連論文リスト

• RubricRM: Generative Reward Modeling via Dynamic Rubrics for Image Generation and Editing [9.858046310638803]
  本稿では,評価次元,重み,評価基準を有する入力固有ルーリックを生成し,そのルーリックを候補画像に応用するペアワイズ生成報酬モデリングフレームワークを提案する。 我々は、2段階のトレーニングパイプラインを用いて、テキスト・ツー・イメージ生成と画像編集のための専用RMモデルを訓練する。
  論文  参考訳（メタデータ） (2026-08-27T10:56:47Z)
• Expected Value Alignment for Generative Reward Modeling in Formal Mathematics Verification [12.08180258890855]
  本稿では,モデルのトークン分布から連続的なスコアを抽出しながら,表面出力を離散的に維持する報奨モデルである期待値アライメント(EVA)を紹介する。 リーン4の形式検証のための報酬モデルであるtextitLeibnizでEVAをインスタンス化し、ゼロショットと報酬モデリングのベースラインに対して評価します。
  論文  参考訳（メタデータ） (2026-05-31T11:06:48Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• Smaller Models, Smarter Rewards: A Two-Sided Approach to Process and Outcome Rewards [40.23960862004138]
  本稿では,最先端の小型言語モデルが有用報酬モデルに変換できるかどうかを考察する。 我々はAPPS符号化チャレンジベンチマークから得られた正当性ラベル付きコードサンプルのデータセットを構築した。 この批判を用いて、複数世代にわたる最も正確なコードの検索能力を20%以上改善する。
  論文  参考訳（メタデータ） (2025-10-27T07:36:41Z)
• GRAM: A Generative Foundation Reward Model for Reward Generalization [48.63394690265176]
  まず,大規模教師なし学習を用いて学習し,教師付き学習により微調整を行う生成報酬モデルを開発した。 このモデルは、応答ランキング、人間のフィードバックからの強化学習、微調整によるタスク適応など、様々なタスクをうまく一般化する。
  論文  参考訳（メタデータ） (2025-06-17T04:34:27Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• RewardBench 2: Advancing Reward Model Evaluation [71.65938693914153]
  リワードモデルは、好みのデータからニュアンスされた信号をキャプチャするために、言語モデルの訓練後を通して使用される。 コミュニティは報酬モデルを評価するためのベストプラクティスを確立し始めている。 本稿では,新しいマルチスキル報酬モデルベンチマークであるRewardBench 2を紹介する。
  論文  参考訳（メタデータ） (2025-06-02T17:54:04Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。