論文の概要: Evaluator Ensembles Under Reward Hacking: Covariance Geometry and Finite-Search Guarantees

• arxiv url: http://arxiv.org/abs/2608.08002v1
• Date: Sat, 08 Aug 2026 08:28:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.599072
• Title: Evaluator Ensembles Under Reward Hacking: Covariance Geometry and Finite-Search Guarantees
• Title（参考訳）: EvaluatorがReward Hackingで結集:Covariance Geometryとfinite-Search Guarantees
• Abstract要約: 有限の最適化は、応答品質を改善するのではなく、評価器のエラーを利用することができる。 我々は,内部の判定結果だけでは共通モード誤差が特定できないことを証明した。 有限探索誤差と後悔に対する有界な2アンカーベルンシュタイン証明書を提案する。
• 参考スコア（独自算出の注目度）: 1.0742675209112622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-model judges and reward models enable scalable supervision, but finite optimization can exploit evaluator errors rather than improve response quality. We characterize this failure through the covariance geometry of evaluator ensembles. For calibrated judges, the ensemble mean retains common-mode error along the all-ones direction, whereas cross-judge disagreement captures only orthogonal error. Consequently, disagreement can be high despite robust aggregation, or low while shared response-dependent errors persist. We prove that common-mode error is not identifiable from internal judge scores alone. Under a joint sub-Gaussian model, we bound best-of-K selection overstatement and target-quality regret, extending the guarantees to predictably adaptive search under conditional calibration. The resulting search terms scale as the square root of log K and are asymptotically tight for Gaussian projected errors. We further show that noisy quality proxies introduce artificial rank-one covariance without changing disagreement, and propose a bounded two-anchor Bernstein certificate for finite-search error and regret. Fixed-seed Gaussian stress tests over 120 (J, rho, K) configurations and real-model audits validate the theory while revealing the limits of disagreement-based diagnostics under increasing search pressure.
• Abstract（参考訳）: 言語モデル判断と報酬モデルにより、スケーラブルな監視が可能になるが、有限の最適化は応答品質を改善するのではなく、評価器エラーを利用することができる。 評価器アンサンブルの共分散幾何学により, この故障を特徴づける。 校正裁判官の場合、アンサンブル平均は全方向に沿って共通モード誤差を保持するが、クロスジャッジの不一致は直交誤差のみをキャプチャする。 その結果、ロバストなアグリゲーションにもかかわらず不一致は高くなり、共有応答依存エラーは持続する。 我々は,内部の判定結果だけでは共通モード誤差が特定できないことを証明した。 混合ガウスモデルの下では、最適K選択の過剰表現と目標品質の後悔を拘束し、条件キャリブレーションの下で予測可能な適応探索まで保証を延長する。 結果として得られる探索項は、対数 K の平方根としてスケールし、ガウス予想誤差に対して漸近的に厳密である。 さらに、ノイズ質のプロキシは、不一致を伴わずに人工的なランクワン共分散を導入し、有限探索誤差と後悔のための有界な2アンカーベルンシュタイン証明を提案する。 120 (J, rho, K) 以上のガウス応力試験と実モデル検査により, 探索圧力の増加による相違に基づく診断の限界を明らかにしつつ, 理論を検証した。

関連論文リスト

• A Closed-Form Estimator and Diagnostic Battery for Anchor-Judge Error Correlation, Under a Single-Common-Factor Model [0.0]
  外部参照セットを使用して、LCM-judgeパネルのエラーを品質信号と共有共通モードエラーに分解する。 我々は、その仮定がいつ降ろされ、見積もりに置き換えられるかを研究する。 クリーンアンカー推定器は、汚染されたコンパニオンアンカーが、信頼されたアンカー自体が汚染されると完全にクリーンであると報告する。
  論文  参考訳（メタデータ） (2026-09-08T14:49:13Z)
• Theory of approximate quantum error correction and the error-set model [53.73800998389749]
  誤差セットモデルに基づく近似量子誤差補正の理論を考案する。 与えられたエラーセットを修正するコードは、クラウス演算子が線形スパンにある全てのチャネルに対して自動的に保護される。 この線形性は、符号距離、消去と一般的な誤りの等価性、および理論上は良い符号をもたらす。
  論文  参考訳（メタデータ） (2026-07-25T02:15:33Z)
• Precise sample covariance spectral norm error -- an RDT view [2.538209532048867]
  我々はランダム二重性理論(RDT)に基づく汎用フレームワークを開発する。 両線形四角形RDT下界機構を導入し, 相補的下界を確立した。 理論的結果は数値評価とシミュレーションで補足される。
  論文  参考訳（メタデータ） (2026-07-16T01:16:31Z)
• Denoised Conformal Alignment for Reliable Selection of Conditional Average Treatment Effect Predictions [10.945117945979566]
  ブラックボックスCATE予測器の信頼性の選択について検討する。 疑似アウトカムから2つの堅牢なプロキシエラーを構築する。 定式化コンフォーマルアライメントを提案する。
  論文  参考訳（メタデータ） (2026-07-03T10:00:28Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• What Does It Take to Build a Performant Selective Classifier? [30.90225954725644]
  ベイズノイズ,近似誤差,ランキング誤差,統計的ノイズ,実装またはシフト誘起スラックについて検討した。 我々は,合成2モードデータと実世界のビジョンと言語ベンチマークを用いて,その分解を検証した。 その結果, (i)ベイズノイズとモデル容量の制限は, 実質的なギャップを考慮し, (ii) よりリッチで特徴を考慮したキャリブレータのみを有意義に改善し, (iii) データシフトは, 分散的に堅牢なトレーニングを必要とするスラックを別々に導入することを確認した。
  論文  参考訳（メタデータ） (2025-10-23T05:48:40Z)
• Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
  異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。 UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。 ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2025-09-01T13:14:58Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Sample Complexity of Uniform Convergence for Multicalibration [43.10452387619829]
  多重校正誤差に対処し、予測誤差から分離する。 我々の研究は、多重校正誤差の統一収束保証のためのサンプル複雑性境界を与える。
  論文  参考訳（メタデータ） (2020-05-04T18:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。