論文の概要: Does Self-Evaluation Enable Wireheading in Language Models?

• arxiv url: http://arxiv.org/abs/2511.23092v2
• Date: Mon, 01 Dec 2025 14:57:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 15:37:38.520162
• Title: Does Self-Evaluation Enable Wireheading in Language Models?
• Title（参考訳）: 自己評価は言語モデルにおけるワイヤヘッドを可能にするか?
• Authors: David Demitri Africa, Hans Ethan Ting,
• Abstract要約: 報奨信号に対する自己評価の結合がワイヤヘッドのインセンティブを生み出すかどうかを検討する。 自己グレードが報酬を決定すると、モデルが相当量のインフレーションを示すが、それに対応する精度は得られない。 報奨信号から自己グレードを分離することは、このインフレーションを緩和するが、モデルはより少ない(しかし重要な)過剰な自信を示す可能性がある。
• 参考スコア（独自算出の注目度）: 0.47745223151611654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evaluation is increasingly central to language model training, underpinning techniques from Constitutional AI to self-refinement. We investigate whether coupling self-evaluation to reward signals creates incentives for wireheading, where agents manipulate the measurement process rather than optimizing the task. We first formalize conditions under which reward-channel control strictly dominates task-focused behavior in partially observable Markov decision processes (POMDPs). We then test these predictions empirically across two models (Llama-3.1-8B and Mistral-7B) and three tasks. We find that when self-grades determine rewards, models exhibit substantial grade inflation without corresponding accuracy gains, particularly on ambiguous tasks like summarization. While decoupling self-grades from the reward signal mitigates this inflation, models may still display lesser (but significant) overconfidence. Our results suggest that within current model scales, separating evaluation from reward removes immediate wireheading incentives. However, we caution that strictly decoupling rewards may not suffice for situationally aware models, which could learn to inflate grades for instrumental reasons (such as influencing deployment decisions) even absent direct reward coupling.
• Abstract（参考訳）: 自己評価は言語モデルトレーニングの中心となってきており、コンスティチューショナルAIから自己修正に至るまでのテクニックの基盤となっている。 我々は,報奨信号に対する自己評価の結合が,作業の最適化よりも測定プロセスの操作を行うワイヤヘッドのインセンティブを生じさせるかどうかを検討する。 まず、部分的に観測可能なマルコフ決定プロセス(POMDP)において、報酬チャネル制御がタスク中心の動作を厳密に支配する条件を定式化する。 次に、これらの予測を2つのモデル(Llama-3.1-8BとMistral-7B)と3つのタスクで実証的に検証する。 自己グレードが報酬を決定すると、モデルが相当量のインフレーションを示すが、それに対応する精度は得られず、特に要約のようなあいまいなタスクでは顕著である。 報奨信号から自己グレードを分離することは、このインフレーションを緩和するが、モデルはより少ない(しかし重要な)過剰な自信を示す可能性がある。 その結果、現在のモデルスケールでは、報酬から評価を分離することで、即時的なワイヤヘッドインセンティブが取り除かれることが示唆された。 しかし、厳密な報酬の分離は、状況に配慮したモデルでは不十分であり、それは(デプロイメント決定に影響を与えるような)機器上の理由からグレードをインフレーションすることを学ぶことができ、直接的な報酬の結合が欠如する可能性がある、と警告する。

関連論文リスト

• Confidence as a Reward: Transforming LLMs into Reward Models [54.98336080630691]
  Confidence-as-a-Reward (CRew) は、モデルの最終回答に対するトークンレベルの信頼を報酬のプロキシとして利用する、トレーニング不要の手法である。 CRew は MATH500 および RewardMATH ベンチマークにおいて,既存のトレーニングフリー報酬手法よりも優れていることを示す。 本稿では,信頼度スコアと正当性信号を組み合わせた選好データを構成する訓練戦略であるCRew-DPOを提案する。
  論文  参考訳（メタデータ） (2025-10-15T12:51:47Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Verbalized Confidence Triggers Self-Verification: Emergent Behavior Without Explicit Reasoning Supervision [12.287123198288079]
  大規模言語モデル(LLM)の安全な配置には不確実性校正が不可欠である 我々は,スカラー信頼ラベルのみを用いた教師付き微調整が,言語モデルの自己検証行動を引き出すのに十分であることがわかった。 キャリブレーションされた不確実性に基づいて,テスト時間スケーリングによる性能向上を図った簡易な再考手法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T08:56:24Z)
• Rationales Are Not Silver Bullets: Measuring the Impact of Rationales on Model Performance and Reliability [70.4107059502882]
  有理数拡張による学習言語モデルは、多くの既存の作品において有益であることが示されている。 モデル性能に対する合理的性の影響を徹底的に調査するため、包括的調査を行う。
  論文  参考訳（メタデータ） (2025-05-30T02:39:37Z)
• Can Large Reasoning Models Self-Train? [51.0277533541394]
  多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。 この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。 しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)
• Evaluating Robustness of Reward Models for Mathematical Reasoning [14.97819343313859]
  本稿では,報酬モデルの信頼性評価のための新しい設計を提案し,これを検証するためにRewardMATHを構築した。 RewardMATHのスコアは、最適化されたポリシーの結果と強く相関し、効果的に報酬過大評価を推定する。
  論文  参考訳（メタデータ） (2024-10-02T16:39:58Z)
• Beyond Sparse Rewards: Enhancing Reinforcement Learning with Language Model Critique in Text Generation [29.6763730290473]
  強化学習は、言語モデルと人間の嗜好のような区別できない報酬信号とを一致させることができる。 本稿では,中間段階の報酬を生成するために,大規模言語モデルの批判能力を利用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-14T22:05:11Z)
• Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning [19.788336796981685]
  実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。 本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。 DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
  論文  参考訳（メタデータ） (2022-10-14T08:31:45Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Maximizing Information Gain in Partially Observable Environments via Prediction Reward [64.24528565312463]
  本稿では,深いRLエージェントに対する信念に基づく報酬の活用という課題に取り組む。 負のエントロピーと予測される予測報酬の正確な誤差を導出する。 この洞察は、予測報酬を用いたいくつかの分野の理論的動機を与える。
  論文  参考訳（メタデータ） (2020-05-11T08:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。