論文の概要: Long-form RewardBench: Evaluating Reward Models for Long-form Generation
- arxiv url: http://arxiv.org/abs/2603.12963v1
- Date: Fri, 13 Mar 2026 13:05:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-16 17:38:12.091694
- Title: Long-form RewardBench: Evaluating Reward Models for Long-form Generation
- Title（参考訳）: Long-form RewardBench:Long-form GenerationのためのRewardモデルの評価
- Abstract要約: Long-form RewardBenchは、ロングフォーム生成用に特別に設計された最初の報酬モデリングテストベッドである。
ベンチマークには、QA、RAG、チャット、書き込み、推論の5つの重要なサブタスクが含まれています。
以上の結果から,現在のモデルにはまだ長文報酬モデリング機能が欠けていることが明らかとなった。
- 参考スコア（独自算出の注目度）: 61.60385107031075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The widespread adoption of reinforcement learning-based alignment highlights the growing importance of reward models. Various benchmarks have been built to evaluate reward models in various domains and scenarios. However, a significant gap remains in assessing reward models for long-form generation, despite its critical role in real-world applications. To bridge this, we introduce Long-form RewardBench, the first reward modeling testbed specifically designed for long-form generation. Our benchmark encompasses five key subtasks: QA, RAG, Chat, Writing, and Reasoning. We collected instruction and preference data through a meticulously designed multi-stage data collection process, and conducted extensive experiments on 20+ mainstream reward models, including both classifiers and generative models. Our findings reveal that current models still lack long-form reward modeling capabilities. Furthermore, we designed a novel Long-form Needle-in-a-Haystack Test, which revealed a correlation between reward modeling performance and the error's position within a response, as well as the overall response length, with distinct characteristics observed between classification and generative models. Finally, we demonstrate that classifiers exhibit better generalizability compared to generative models trained on the same data. As the first benchmark for long-form reward modeling, this work aims to offer a robust platform for visualizing progress in this crucial area.
- Abstract（参考訳）: 強化学習に基づくアライメントの普及は、報酬モデルの重要性の高まりを浮き彫りにしている。
さまざまなドメインやシナリオの報酬モデルを評価するために、さまざまなベンチマークが構築されている。
しかし、現実世界の応用において重要な役割を担っているにもかかわらず、長期的な世代に対する報酬モデルを評価する際に大きなギャップが残っている。
これを補うために,Long-form RewardBenchを紹介した。
ベンチマークには、QA、RAG、チャット、書き込み、推論の5つの重要なサブタスクが含まれています。
我々は,多段階データ収集プロセスを通じて指導データと嗜好データを収集し,分類器と生成モデルの両方を含む20以上の主流報酬モデルについて広範な実験を行った。
以上の結果から,現在のモデルにはまだ長文報酬モデリング機能が欠けていることが明らかとなった。
さらに,報酬モデリング性能と応答における誤差位置,および全体の応答長の相関を,分類モデルと生成モデルとの違いで明らかにした長文式ニードル・イン・ア・ヘイスタック試験を考案した。
最後に、同一データ上で訓練された生成モデルと比較して、分類器がより一般化可能であることを示す。
長期報酬モデリングの最初のベンチマークとして、この作業は、この重要な領域における進捗を視覚化するための堅牢なプラットフォームを提供することを目的としている。
関連論文リスト
- Smaller Models, Smarter Rewards: A Two-Sided Approach to Process and Outcome Rewards [40.23960862004138]
本稿では,最先端の小型言語モデルが有用報酬モデルに変換できるかどうかを考察する。
我々はAPPS符号化チャレンジベンチマークから得られた正当性ラベル付きコードサンプルのデータセットを構築した。
この批判を用いて、複数世代にわたる最も正確なコードの検索能力を20%以上改善する。
論文 参考訳（メタデータ） (2025-10-27T07:36:41Z) - GRAM: A Generative Foundation Reward Model for Reward Generalization [48.63394690265176]
まず,大規模教師なし学習を用いて学習し,教師付き学習により微調整を行う生成報酬モデルを開発した。
このモデルは、応答ランキング、人間のフィードバックからの強化学習、微調整によるタスク適応など、様々なタスクをうまく一般化する。
論文 参考訳（メタデータ） (2025-06-17T04:34:27Z) - Intention-Conditioned Flow Occupancy Models [80.42634994902858]
大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。
同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。
生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
論文 参考訳（メタデータ） (2025-06-10T15:27:46Z) - Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。
生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
論文 参考訳（メタデータ） (2025-03-24T17:59:03Z) - PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis [8.785345412061792]
摂動に対する単一細胞転写応答をモデル化するための包括的枠組みを提案する。
私たちのアプローチには、モジュラーでユーザフレンドリなモデル開発と評価プラットフォームが含まれています。
モード崩壊など、広く使われているモデルの限界を強調します。
論文 参考訳（メタデータ） (2024-08-20T07:40:20Z) - Data-Juicer Sandbox: A Feedback-Driven Suite for Multimodal Data-Model Co-development [67.55944651679864]
統合データモデル共同開発に適した新しいサンドボックススイートを提案する。
このサンドボックスは、フィードバック駆動の実験プラットフォームを提供し、コスト効率とデータとモデルの両方のガイド付き洗練を可能にする。
論文 参考訳（メタデータ） (2024-07-16T14:40:07Z) - DogeRM: Equipping Reward Models with Domain Knowledge through Model Merging [65.41765072566287]
textbfDomain knowledtextbfge merged textbfReward textbfModel(DogeRM)を提案する。
論文 参考訳（メタデータ） (2024-07-01T17:01:54Z) - A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
本稿では,2相モデル選択フレームワークを提案する。
これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。
提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
論文 参考訳（メタデータ） (2024-03-28T14:44:44Z) - RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。
データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。
RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
論文 参考訳（メタデータ） (2024-03-20T17:49:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。