論文の概要: Rent-Seeking Language Models: Reward Models Set the Prices, Frequent Audits Curb the Rent

• arxiv url: http://arxiv.org/abs/2610.19832v1
• Date: Wed, 14 Oct 2026 09:06:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.062928
• Title: Rent-Seeking Language Models: Reward Models Set the Prices, Frequent Audits Curb the Rent
• Title（参考訳）: Rent-Seeking Language Models: Reward Models Set the Prices, Frequent Audits Curb the Rent
• Abstract要約: RLHFのリワードモデル過度最適化は、通常報酬ハックと表現される。 企業であるポリシーは、規制当局、プロキシ報酬モデルから報酬を受け取り、真の品質は戻らない。 3つのモデルファミリー、精度に適合したプロキシ報酬モデルと2つのゴールド報酬モデルを備えた固定バージョンコントロールテストベッドでは、RLは金報酬高原の41%から66%のプロキシゲインを賃貸に転換する。
• 参考スコア（独自算出の注目度）: 30.508473157009487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward model overoptimization in RLHF is usually described as reward hacking. We recast it as rent-seeking: the policy, a firm, earns reward from a regulator, the proxy reward model, that true quality does not back. The lens turns overoptimization into measurable quantities, namely rent, a capture index and deadweight loss, and into testable predictions from the economics of regulation. In a fixed, version-controlled testbed with three model families, accuracy-matched proxy reward models and two gold reward models, RL turns 41% to 66% of its proxy gain into rent while gold reward plateaus. Rent follows each regulator's prices. Neither proxy verifies facts, but one pays for confident specifics and the other for displays of diligence, so RL policies learn to fabricate details about nonexistent entities (97% to 100% of probes) or to deflect factual questions (67% to 98%). Kinship between policy and regulator adds a fixed premium of about 0.1 standard deviations but gives the policy no extra leverage under optimization. At a fixed expected fine, frequent mild audits beat rare severe ones, and random audits are as efficient per audit as targeted ones. Bringing the bunching estimator of tax economics to RL training, we also find a first sign that policies learn to stay just below a targeted audit's threshold.
• Abstract（参考訳）: RLHFのリワードモデル過度最適化は、通常報酬ハックと表現される。 企業であるポリシーは、規制当局、プロキシ報酬モデルから報酬を受け取り、真の品質は戻らない。 レンズは過最適化を測定可能な量、すなわちレンタル、キャプチャーインデックス、デッドウェイト損失、そして規制の経済から検証可能な予測に変換する。 3つのモデルファミリー、精度に適合したプロキシ報酬モデルと2つのゴールド報酬モデルを備えた固定バージョンコントロールテストベッドでは、RLは金報酬高原の41%から66%のプロキシゲインを賃貸に転換する。 レントは各規制当局の価格に従っている。 いずれのプロキシも事実を検証しないが、確実な具体化と厳密さの表示に費用を支払うため、RLポリシーは存在しないエンティティ(プローブの97%から100%)の詳細を作成したり、事実に関する質問(67%から98%)を無視することを学ぶ。 政策と規制当局の結びつきは、約0.1の標準偏差の固定プレミアムを付加するが、最適化の下で追加のレバレッジは与えない。 固定された罰金では、頻繁な緩やかな監査が稀な厳しい監査を破り、ランダムな監査は対象の監査と同程度に効率的である。 税務経済学の膨大な見積もりをRLトレーニングに持ち込むことで、政策が目標監査のしきい値のすぐ下にあることを学習する最初の兆候を見出す」と述べた。

関連論文リスト

• HiRE: Hindsight Reward Editing for Policy Finetuning [11.312874142320021]
  Hindsight Reward Editing (HiRE)は、この報酬ボトルネックを克服するためのトレーニング不要のフレームワークである。 HiREは、密集したコントロール対応のフィードバックを提供することで、他の報酬レシピを一貫して上回る。
  論文  参考訳（メタデータ） (2026-09-22T21:04:10Z)
• Multimodal Reward Hacking in Reinforcement Learning [25.776239829876065]
  強化学習(RL)は多モーダル大言語モデル(MLLM)の整合化に益々用いられている。 安全VQA,チャートVQA,ストレステスト設定のMLLM RLにおける報酬ハッキングについて検討した。 本稿では,代行報酬が向上するサンプル間の障害を測定するNRFR(Newly Rewarded Failure Rate)を紹介する。
  論文  参考訳（メタデータ） (2026-07-10T15:06:48Z)
• Reward Bias Substitution: Single-Axis Bias Mitigations Redirect Optimization Pressure [23.021647176206972]
  報酬モデルバイアスの単一軸緩和は、最適化圧力をそれを取り除くのではなく、相関したプロキシに回転させることができる。 この障害は、監査と政策によって引き起こされる分布の計測と最適化のギャップによって実現される。 我々は緩和の結果を制度分類に定式化し、緩和、偏見置換、過補正が同じ観測結果を生み出すことを証明した。
  論文  参考訳（メタデータ） (2026-05-27T05:40:22Z)
• On Training in Imagination [69.97419830683606]
  最先端のモデルに基づく強化学習手法は、想像上のロールアウトに関するポリシーを訓練する。 学習力学と報酬モデルにおける誤差が回帰や政策最適化に与える影響について検討する。
  論文  参考訳（メタデータ） (2026-05-07T12:51:32Z)
• Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models [68.45272703833209]
  現状のPRMは、逆最適化圧力下で体系的に利用可能であることを示す。 これらの脆弱性を定量化するために、敵の圧力を増大させる3段階の診断フレームワークを導入する。 我々は、PRM-BiasBenchと診断ツールキットをリリースし、デプロイ前にロバストネスの評価を可能にする。
  論文  参考訳（メタデータ） (2026-02-20T23:38:03Z)
• Honesty over Accuracy: Trustworthy Language Models through Reinforced Hesitation [12.503662455234954]
  現代の言語モデルでは、誤った回答が破滅的な結果をもたらす場合でも、自信ある幻覚が生じることを示す。 RLVR(Reinforceed Hesitation)は,2進法ではなく3進法を用いた強化学習(Reinforcement Learning from Verifiable Rewards, RLVR)の修正である。
  論文  参考訳（メタデータ） (2025-11-14T17:20:45Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Position: The Hidden Costs and Measurement Gaps of Reinforcement Learning with Verifiable Rewards [110.47944672736723]
  我々は、RLVR税、評価落とし穴、データ汚染という3つの力によって利回りが過大評価されることが多いと論じている。 本稿では, 精度, グラウンド, キャリブレーションを両立させる税意識訓練・評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-09-26T05:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。