論文の概要: Reward Models are Metrics in a Trench Coat

• arxiv url: http://arxiv.org/abs/2510.03231v1
• Date: Fri, 03 Oct 2025 17:59:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.541054
• Title: Reward Models are Metrics in a Trench Coat
• Title（参考訳）: 逆モデルとトレンチコートの計量
• Authors: Sebastian Gehrmann,
• Abstract要約: 2つの研究領域は、主に分離されており、冗長な用語と繰り返しの落とし穴に繋がることがわかった。 一般的な課題には、素早い相関への感受性、下流の報酬ハックへの影響、データ品質を改善する方法、メタ評価へのアプローチなどがある。 我々の立場論文は、フィールド間のより緊密なコラボレーションがこれらの問題を克服するのに役立ちます。
• 参考スコア（独自算出の注目度）: 8.100404050572996
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The emergence of reinforcement learning in post-training of large language models has sparked significant interest in reward models. Reward models assess the quality of sampled model outputs to generate training signals. This task is also performed by evaluation metrics that monitor the performance of an AI model. We find that the two research areas are mostly separate, leading to redundant terminology and repeated pitfalls. Common challenges include susceptibility to spurious correlations, impact on downstream reward hacking, methods to improve data quality, and approaches to meta-evaluation. Our position paper argues that a closer collaboration between the fields can help overcome these issues. To that end, we show how metrics outperform reward models on specific tasks and provide an extensive survey of the two areas. Grounded in this survey, we point to multiple research topics in which closer alignment can improve reward models and metrics in areas such as preference elicitation methods, avoidance of spurious correlations and reward hacking, and calibration-aware meta-evaluation.
• Abstract（参考訳）: 大規模言語モデルの訓練後における強化学習の出現は、報酬モデルに大きな関心を呼んだ。 Rewardモデルはサンプルモデル出力の品質を評価し、トレーニング信号を生成する。 このタスクは、AIモデルのパフォーマンスを監視する評価指標によって実行される。 2つの研究領域は、主に分離されており、冗長な用語と繰り返しの落とし穴に繋がることがわかった。 一般的な課題には、素早い相関への感受性、下流の報酬ハックへの影響、データ品質を改善する方法、メタ評価へのアプローチなどがある。 我々の立場論文は、フィールド間のより緊密なコラボレーションがこれらの問題を克服するのに役立ちます。 そのために、特定のタスクに対する報酬モデルよりも優れたメトリクスを示し、その2つの領域を広範囲に調査する。 本調査の根拠として, 選好エレクテーション手法, 素早い相関や報奨ハッキングの回避, キャリブレーションを考慮したメタ評価などの分野において, より密接なアライメントが報酬モデルや指標を改善することを指摘する。

関連論文リスト

• Revisiting the Learning Objectives of Vision-Language Reward Models [19.768973349254285]
  一般化可能な報酬関数の学習は、インテリジェンスにおける中核的な課題である。 最近の研究は、人間の監督なしに高密度でドメインに依存しない報酬を得るために、対照的な視覚言語モデル(VLM)を活用している。 我々は、同じバックボーン、微調整データ、評価環境を備えた統合フレームワーク下で、最近のVLMベースの報酬モデルを評価する。
  論文  参考訳（メタデータ） (2025-12-20T19:50:36Z)
• Probing Preference Representations: A Multi-Dimensional Evaluation and Analysis Method for Reward Models [63.00458229517523]
  本研究は、嗜好表現を探索することで、報酬モデルの評価課題に対処する。 多次元リワードモデルベンチマーク (MRMBench) を構築する。 本稿では,報酬予測時に使用する次元を同定し,その解釈可能性を高める解析手法,推論時探索を提案する。
  論文  参考訳（メタデータ） (2025-11-16T05:29:29Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Let's Reinforce Step by Step [10.65244642965387]
  人間のフィードバックからの強化学習をモデル推論の形式化に活用する。 以上の結果から, PRM法により得られる微粒な報酬は, 単純な数学的推論の精度を高めることが示唆された。 また、モデル性能において、報酬アグリゲーション関数が果たす重要な役割を示す。
  論文  参考訳（メタデータ） (2023-11-10T01:35:51Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Think Twice: Measuring the Efficiency of Eliminating Prediction Shortcuts of Question Answering Models [3.9052860539161918]
  そこで本研究では,任意の特徴量に対するモデルのスケール依存度を簡易に測定する手法を提案する。 質問回答(QA: Question Answering)における各種事前学習モデルとデバイアス法について、既知の予測バイアスと新たに発見された予測バイアスの集合に対するロバスト性を評価する。 既存のデバイアス法は、選択された刺激的特徴への依存を軽減することができるが、これらの手法のOOD性能向上は、偏りのある特徴への依存を緩和することによって説明できない。
  論文  参考訳（メタデータ） (2023-05-11T14:35:00Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。