論文の概要: Reward Models are Metrics in a Trench Coat

• arxiv url: http://arxiv.org/abs/2510.03231v1
• Date: Fri, 03 Oct 2025 17:59:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.541054
• Title: Reward Models are Metrics in a Trench Coat
• Title（参考訳）: 逆モデルとトレンチコートの計量
• Authors: Sebastian Gehrmann,
• Abstract要約: 2つの研究領域は、主に分離されており、冗長な用語と繰り返しの落とし穴に繋がることがわかった。 一般的な課題には、素早い相関への感受性、下流の報酬ハックへの影響、データ品質を改善する方法、メタ評価へのアプローチなどがある。 我々の立場論文は、フィールド間のより緊密なコラボレーションがこれらの問題を克服するのに役立ちます。
• 参考スコア（独自算出の注目度）: 8.100404050572996
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The emergence of reinforcement learning in post-training of large language models has sparked significant interest in reward models. Reward models assess the quality of sampled model outputs to generate training signals. This task is also performed by evaluation metrics that monitor the performance of an AI model. We find that the two research areas are mostly separate, leading to redundant terminology and repeated pitfalls. Common challenges include susceptibility to spurious correlations, impact on downstream reward hacking, methods to improve data quality, and approaches to meta-evaluation. Our position paper argues that a closer collaboration between the fields can help overcome these issues. To that end, we show how metrics outperform reward models on specific tasks and provide an extensive survey of the two areas. Grounded in this survey, we point to multiple research topics in which closer alignment can improve reward models and metrics in areas such as preference elicitation methods, avoidance of spurious correlations and reward hacking, and calibration-aware meta-evaluation.
• Abstract（参考訳）: 大規模言語モデルの訓練後における強化学習の出現は、報酬モデルに大きな関心を呼んだ。 Rewardモデルはサンプルモデル出力の品質を評価し、トレーニング信号を生成する。 このタスクは、AIモデルのパフォーマンスを監視する評価指標によって実行される。 2つの研究領域は、主に分離されており、冗長な用語と繰り返しの落とし穴に繋がることがわかった。 一般的な課題には、素早い相関への感受性、下流の報酬ハックへの影響、データ品質を改善する方法、メタ評価へのアプローチなどがある。 我々の立場論文は、フィールド間のより緊密なコラボレーションがこれらの問題を克服するのに役立ちます。 そのために、特定のタスクに対する報酬モデルよりも優れたメトリクスを示し、その2つの領域を広範囲に調査する。 本調査の根拠として, 選好エレクテーション手法, 素早い相関や報奨ハッキングの回避, キャリブレーションを考慮したメタ評価などの分野において, より密接なアライメントが報酬モデルや指標を改善することを指摘する。

関連論文リスト

• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Let's Reinforce Step by Step [10.65244642965387]
  人間のフィードバックからの強化学習をモデル推論の形式化に活用する。 以上の結果から, PRM法により得られる微粒な報酬は, 単純な数学的推論の精度を高めることが示唆された。 また、モデル性能において、報酬アグリゲーション関数が果たす重要な役割を示す。
  論文  参考訳（メタデータ） (2023-11-10T01:35:51Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。