論文の概要: Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models

• arxiv url: http://arxiv.org/abs/2603.06621v1
• Date: Fri, 20 Feb 2026 23:38:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.446178
• Title: Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models
• Title（参考訳）: Reward Under Attack: Process Reward Modelのロバストさとハック可能性の解析
• Authors: Rishabh Tiwari, Aditya Tomar, Udbhav Bamba, Monishwaran Maheswaran, Heng Yang, Michael W. Mahoney, Kurt Keutzer, Amir Gholami,
• Abstract要約: 現状のPRMは、逆最適化圧力下で体系的に利用可能であることを示す。 これらの脆弱性を定量化するために、敵の圧力を増大させる3段階の診断フレームワークを導入する。 我々は、PRM-BiasBenchと診断ツールキットをリリースし、デプロイ前にロバストネスの評価を可能にする。
• 参考スコア（独自算出の注目度）: 68.45272703833209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Process Reward Models (PRMs) are rapidly becoming the backbone of LLM reasoning pipelines, yet we demonstrate that state-of-the-art PRMs are systematically exploitable under adversarial optimization pressure. To address this, we introduce a three-tiered diagnostic framework that applies increasing adversarial pressure to quantify these vulnerabilities. Static perturbation analysis uncovers a fluency-logic dissociation: high invariance to surface-level style changes reward changes $<$0.1, yet inconsistent detection of logically-corrupted reasoning, with different models failing on different attack types. Adversarial optimization demonstrates that gradient-based attacks inflate rewards on invalid trajectories, with reward landscapes exhibiting wide, exploitable peaks. RL-induced reward hacking exposes the critical failure mode: policies trained on AIME problems achieve near-perfect PRM rewards ($>$0.9), while ground-truth accuracy remains low (below 4%), with 43% of reward gains attributable to stylistic shortcuts. These findings reveal that current PRMs function as fluency detectors rather than reasoning verifiers, creating systematic blind spots that undermine their use as training signals. We release PRM-BiasBench and a diagnostic toolkit to enable robustness evaluation before deployment. The code and dataset are available at https://github.com/SqueezeAILab/reward-under-attack.
• Abstract（参考訳）: プロセス・リワード・モデル (PRM) は, LLM推論パイプラインのバックボーンとして急速に普及している。 この問題に対処するために、これらの脆弱性を定量化するために、敵の圧力を増大させる3段階の診断フレームワークを導入します。 表面レベルのスタイル変更に対する高い不変性 報酬は$<0.1だが、論理的に破損した推論の一貫性のない検出は、異なるモデルが異なる攻撃タイプで失敗する。 逆最適化は、勾配に基づく攻撃が不正な軌跡に対する報酬を増大させ、広い、悪用可能なピークを示す報奨景観を示すことを示した。 AIME問題で訓練されたポリシーは、ほぼ完璧なPRM報酬($0.9)を達成し、地道精度は低い(4%以下)が、その43%はスタイリスティックなショートカットに起因する。 これらの結果から、現在のPRMは検証器を推論するよりも流速検出器として機能し、訓練信号としての使用を損なう系統的な盲点を形成していることが明らかとなった。 我々は、PRM-BiasBenchと診断ツールキットをリリースし、デプロイ前にロバストネスの評価を可能にする。 コードとデータセットはhttps://github.com/SqueezeAILab/reward-under- attackで公開されている。

関連論文リスト

• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• CS-GBA: A Critical Sample-based Gradient-guided Backdoor Attack for Offline Reinforcement Learning [7.5200963577855875]
  オフライン強化学習(RL)は、静的データセットからのポリシー最適化を可能にするが、バックドア攻撃に対して本質的に脆弱である。 我々は,厳格な予算の下で高い盗難と破壊性を達成すべく,CS-GBA(Critical Sample-based Gradient-Guided Backdoor Attack)を提案する。
  論文  参考訳（メタデータ） (2026-01-15T13:57:52Z)
• Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking [78.69179041551014]
  本稿では,インフォメーション・ボトルネックの原理に基づく情報理論報酬モデリングフレームワークを提案する。 InfoRMは、報酬の一般化を緩和するために、嗜好に無関係な情報をフィルタリングする。 IBLは分散レベルの正規化であり、そのような偏差を罰し、最適化の展望を効果的に拡張する。
  論文  参考訳（メタデータ） (2025-10-15T15:51:59Z)
• One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
  我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。 提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-10-12T07:42:57Z)
• One Token to Fool LLM-as-a-Judge [52.45386385722788]
  大規模言語モデル(LLM)は、自動化された審査員としてますます信頼され、評価を支援し、他のモデルを訓練するための報酬信号を提供する。 生成的報酬モデルは、ハッキングに対して体系的に影響を受けやすい。
  論文  参考訳（メタデータ） (2025-07-11T17:55:22Z)
• Probabilistic Uncertain Reward Model [27.40414952747553]
  本稿では、優先データから生じる報酬分布を学習するための確率的不確実リワードモデル(PURM)を提案する。 PURMは従来の手法よりも精度が高く,不確実性も高いことを示す。
  論文  参考訳（メタデータ） (2025-03-28T14:39:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。