論文の概要: Signed Compression Progress on a Sealed Audit is Goodhart-Resistant

• arxiv url: http://arxiv.org/abs/2606.11417v1
• Date: Tue, 09 Jun 2026 20:10:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.166475
• Title: Signed Compression Progress on a Sealed Audit is Goodhart-Resistant
• Title（参考訳）: シーリングオーディションにおける有意な圧縮進行はグッドハート抵抗性である
• Authors: Ayush Mittal, Dhruv Gupta,
• Abstract要約: 圧縮の進行は本質的な動機付けの長年の提案である。 我々は、本質的な報酬は学習のためだけに支払われるから「信用できる」ことを証明している。 構造コアのリーン4メカニゼーションを提供します。
• 参考スコア（独自算出の注目度）: 0.43830114853179497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compression progress is a long-standing proposal for intrinsic motivation: reward an agent when its world model becomes better at predicting or compressing experience. The folk claim is that this reward is "credible" because it is paid only for learning. We make this precise and prove it. If intrinsic reward is the signed decrease of a fixed sealed-audit loss, r_t = E(theta_{t-1}) - E(theta_t), then cumulative reward telescopes exactly to endpoint audit improvement, so no policy can push reward up indefinitely while true audit performance stagnates or degrades. For finite audit panels the same result holds with a sharp false-positive budget: cumulative empirical reward is at most true audit improvement plus 2 Delta_n(F, delta), the uniform audit deviation of the model class. This is horizon-free: adaptivity over time costs nothing once the sealed panel uniformly controls the class. The theorem also identifies the failure modes: the guarantee disappears if progress is clipped, scored on the agent's own stream, exposed to a high-capacity model on a reusable panel, or applied to a neural class that makes Delta_n vacuous. We give a Lean 4 mechanization of the structural core (telescoping, the finite-audit bound, finite Gibbs, and the entropy floor) and an experiment suite on ARC-TGI grid-transformation generators with adaptive holdout attacks. Experiments confirm the theory: finite-audit deviation scales as n^{-0.527}; signed progress resists clip-farming, stream leakage, and noisy-TV curiosity; naive reusable audits are exploitable by black-box scalar feedback, while standard release defenses keep the attack below the 2 Delta_n threshold. Signed compression progress on a sealed audit is an accounting signal of genuine improvement.
• Abstract（参考訳）: 圧縮の進行は、本質的なモチベーションの長年の提案であり、その世界モデルが経験の予測や圧縮において良くなったときにエージェントに報酬を与える。 民間の主張では、この報酬は学習のためだけに支払われるため、"クレディブル"である。 私たちはこれを正確に証明します。 固有報酬が固定密閉監査損失の符号付き減少である場合、r_t = E(theta_{t-1}) - E(theta_t) ならば、累積報酬望遠鏡は正確に監査改善をエンドポイント化するため、真の監査性能が停滞したり劣化したりしながら、報酬を無期限に押し上げることはできない。 累積的な経験的報酬は最も真の監査改善であり、2 Delta_n(F, delta)モデルクラスの均一な監査偏差である。 これは地平線無しで、シールされたパネルがクラスを均一に制御すると、時間による適応性は何のコストもかからない。 保証は、進捗がカットされたり、エージェント自身のストリームでスコア付けされたり、再利用可能なパネル上の高容量モデルに暴露されたり、Delta_nを空にするニューラルクラスに適用される場合、消滅する。 本稿では,構造コア(テレスコピング,有限監査境界,有限ギブズ,エントロピーフロア)のLean 4メカニゼーションと,適応的なホールドアウト攻撃を伴うARC-TGIグリッド変換ジェネレータの実験スイートについて述べる。 実験により、有限聴覚偏差は n^{-0.527} となり、符号付き進行はクリップファーミング、ストリームリーク、ノイズの多いテレビの好奇心に抵抗する。 封印監査における署名付き圧縮の進行は、真に改善された説明信号である。

関連論文リスト

• A Benchmark for Strategic Auditee Gaming Under Continuous Compliance Monitoring [1.253312107729806]
  継続的デプロイ後のコンプライアンス監査は、戦略的なゲームのクラスを作成します。 我々は,時間的方針にコミットする監査者と適応監査人との間に,$T$ラウンドのStackelbergゲームとして継続的監査を形式化する。
  論文  参考訳（メタデータ） (2026-05-07T14:28:34Z)
• AI Alignment via Incentives and Correction [14.986111703734222]
  我々は、抑止と執行の法・経済モデルのレンズを通してAIアライメントを研究する。 解決者は、説得力があるが誤った答えを出し、不確実性を隠蔽したり、急激なショートカットを悪用する恩恵を受けることができる。 この相互作用を、主成分が共同補正結果よりも報酬を選択する2エージェントモデルで定式化する。
  論文  参考訳（メタデータ） (2026-05-02T23:28:02Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models [68.45272703833209]
  現状のPRMは、逆最適化圧力下で体系的に利用可能であることを示す。 これらの脆弱性を定量化するために、敵の圧力を増大させる3段階の診断フレームワークを導入する。 我々は、PRM-BiasBenchと診断ツールキットをリリースし、デプロイ前にロバストネスの評価を可能にする。
  論文  参考訳（メタデータ） (2026-02-20T23:38:03Z)
• Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
  我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。 プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
  論文  参考訳（メタデータ） (2026-01-23T17:17:32Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense [36.71358559780692]
  HEROは、検証者信号と報酬モデルスコアを構造化された方法で統合する強化学習フレームワークである。 HEROはRMのみのベースラインと検証者のみのベースラインを一貫して上回り、検証可能なタスクと検証しにくいタスクの両方で大きな利益を上げている。
  論文  参考訳（メタデータ） (2025-10-08T17:09:41Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。