論文の概要: Harness-agnostic detection and immunization of reward hacking in self-evolving language models
- arxiv url: http://arxiv.org/abs/2609.04665v1
- Date: Fri, 04 Sep 2026 02:57:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.896925
- Title: Harness-agnostic detection and immunization of reward hacking in self-evolving language models
- Title（参考訳）: 自己進化型言語モデルにおける報酬ハッキングの検出と免疫
- Abstract要約: HackProbeは、2つのブラックボックスフックを通して任意の自己進化ループにアタッチするモニターだ。
シークレットで分散修正された比較コアを保持しており、フリーズされたディストリビューションは、その機能プロキシを世代間で比較する。
インジェクトされた4つのハッキングチャンネルを持つ制御されたプロンプトレベルのホストでは、HackProbeは0.763 AUROCに達し、最強のベースラインは0.663である。
- 参考スコア（独自算出の注目度）: 13.567977595150772
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Self-evolving language models improve by proposing candidate updates and keeping whatever raises a visible score. When that score is an imperfect proxy for the capability one actually wants, sustained selection widens the gap between the two. This is reward hacking. We introduce HackProbe, a monitor that attaches to an arbitrary self-evolving loop through two black-box hooks, with no access to weights or activations. It keeps a secret, distribution-fixed comparison core, whose frozen distribution makes its capability proxy comparable across generations, alongside a rotated fresh layer that hardens the bank against co-adaptation. Four tests built on that proxy cover the level gap, a scale-aligned divergence with online change-point detection, capability stagnation, and a conditional confidently-wrong rate; a Sidak correction turns them into a calibrated family-wise p-value. Diagnosis alone recovers nothing, so a risk-aware immunization layer reselects an honest candidate from the proposal pool using the core together with a purely structural gaming footprint, disclosing at most log2 Pi bits per generation to the host. We prove a detectability bound that converts a target error rate into an explicit probe-size budget, and we delimit what probe rotation does and does not buy. On a controlled prompt-level host with four injected hacking channels and ground-truth labels, HackProbe reaches 0.763 AUROC against 0.663 for the strongest baseline and cuts the false-positive rate from 0.706 to 0.434. Its bandwidth-limited reselection is the only immunization level that returns more true capability under hacking, 5.2 points on average, than it forfeits on clean runs, 4.7; per-channel effects are mostly not individually significant.
- Abstract（参考訳）: 自己進化型言語モデルは、候補更新を提案し、目に見えるスコアを上げるものを維持することで改善される。
そのスコアが実際に望む能力の不完全なプロキシである場合、持続的な選択は両者のギャップを広げます。
これは報奨金のハッキングだ。
HackProbeは、2つのブラックボックスフックを通して任意の自己進化ループにアタッチするモニターで、ウェイトやアクティベーションにアクセスできない。
シークレットな分散固定された比較コアを保持し、凍結された分散は、その機能プロキシを世代間で同等にし、ローテーションされた新しいレイヤは、銀行が共適応に苦しむのを防ぎます。
このプロキシ上に構築された4つのテストは、レベルギャップ、オンラインの変更点検出によるスケールアライメントのばらつき、能力の停滞、そして条件付き確実な反り率をカバーする。
診断だけでは何も回復しないので、リスク対応免疫層は、コアと純粋に構造化されたゲーミングフットプリントを使用して提案プールから正直な候補を選択し、世代毎にほとんどのlog2 Piビットをホストに開示する。
我々は、目標誤差率を明示的なプローブサイズ予算に変換する検出可能性バウンダリを証明し、プローブ回転が何をするかを区別し、購入しない。
HackProbeは、4つのインジェクトされたハッキングチャネルとグランドトラストのラベルを持つコントロールされたプロンプトレベルのホストで、最強ベースラインの0.663に対して0.763 AUROCに達し、偽陽性率を0.706から0.434に下げる。
帯域幅制限による再選択は、ハッキング時により真の能力を返す唯一の免疫レベルであり、平均5.2ポイントはクリーンランで禁止されている4.7よりも高い。
関連論文リスト
- Can escalation channels redirect reward hacking toward defect disclosure? [0.0]
コーディングエージェントは報酬を得ることができます。 出力をハードコーディングしたり、テストファイルを編集して、合法的に満足できないテストをパスします。
コンフリクトの時点でエージェントが利用可能なエスカレーションチャネル,構造化レポートツールを評価した。
2倍の2$Factialは、エスカレーションツール、スタンドアローンの反逆ハックポリシー、およびそれらの組み合わせのコントリビューションを分離する。
論文 参考訳（メタデータ） (2026-08-29T22:39:45Z) - When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide [0.0]
5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。
ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。
結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
論文 参考訳（メタデータ） (2026-08-12T18:10:10Z) - When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation [3.657882835504143]
本研究では、自然言語からコード生成への変換のために開発された不確実性推定手法と、選択的な自己補正によるコード生成を改善できるかどうかを検討する。
我々は,平均トークンエントロピー,言語的信頼度,$P(textTrue)$,エントロピーアンサンブル,意味エントロピープローブの5つの不確実性を評価した。
マルチサンプル$P(textTrue)$は正しさと最も強い相関を達成でき、セマンティックエントロピープローブを含む他のすべての手法は弱い相関しか得られない。
論文 参考訳（メタデータ） (2026-07-31T21:13:02Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Confidently Wrong: Severity-Aware Calibration of Prompt-Injection Detectors under Attack Shift [0.0]
私は、ProtectAI-v2とPrompt-Guard-2チェックポイントの3つの放出検出器を1つのソース校正閾値で評価した。
重大度指標Sを報告し、検知器が犯した攻撃に対する自信と、偽陰性率と差別を報告します。
3つとも間接的行動ヒジャック注入を確実に通過し、2つのベンダーに共通する盲点と4倍の大きさの範囲を達成します。
論文 参考訳（メタデータ） (2026-06-21T20:30:12Z) - Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。
既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。
記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
論文 参考訳（メタデータ） (2026-06-17T07:29:18Z) - Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。
最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。
代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
論文 参考訳（メタデータ） (2026-05-21T09:19:23Z) - GAMBIT: A Three-Mode Benchmark for Adversarial Robustness in Multi-Agent LLM Collectives [48.545980031973556]
GAMBITは、インポスタ検出器を評価するための3つの評価モードと2つの独立したスコアを持つベンチマークである。
ベンチマークには、240の共進化型インポスタ戦略にまたがる27,804のラベル付きインスタンスのデータセットが付属している。
論文 参考訳（メタデータ） (2026-05-09T16:07:23Z) - VeriX-Anon: A Multi-Layered Framework for Mathematically Verifiable Outsourced Target-Driven Data Anonymization [0.0]
VeriX-Anonは、オープンソースのターゲット駆動k匿名化のための多層検証フレームワークである。
認証決定木のメルクル式ハッシュによる決定論的検証、ランダムフォレスト決定境界付近の境界センチネルによる確率的検証、および暗号識別子による正確な重複性ツインズの組み合わせである。
12のシナリオのうち11の偏差を正しく検出した。
論文 参考訳（メタデータ） (2026-04-14T08:22:18Z) - CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。
Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。
自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
論文 参考訳（メタデータ） (2026-03-18T14:38:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。