論文の概要: Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences
- arxiv url: http://arxiv.org/abs/2611.09670v2
- Date: Thu, 12 Nov 2026 07:40:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.862792
- Title: Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences
- Title(参考訳): プランナーのグッドハート:人間の選好から学ぶサンプリングベース制御エクスプロイト
- Abstract要約: クラウドソースラベルを持つHalfCheetahとHopperでは、厳格なMPPI検索が真のリターンを最大76%削減し、ホールドアウトラベルの精度は0.75-0.97に維持される。
提案手法では, スコアラの誤差が設定された温度でのMPPIが最低ケース最適であり, スプレッドがスコアラ自身を超えると, ゲインが証明されないことを証明している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robots increasingly plan by searching against a reward model learned from human preferences; we measure what this search does to the true objective. On HalfCheetah and Hopper with crowd-sourced labels, and on Meta-World drawer-open and plate-slide with synthetic labels and blind labels from the two authors, harder MPPI search cuts true return by up to 76% while held-out label accuracy stays at 0.75-0.97: with human labels the drawer opens in 0 of 20 runs, against 10 of 10 for the cloned policy the planner starts from. The effect persists with a learned dynamics model and with an image scorer. True return roughly follows how far the planner's weights move from its proposals ($\sqrt{\mathrm{KL}}$), and best-of-$N$ action selection with a verifier trained on synthetic labels falls below a single noisy action. We prove that $χ^2$-regularized MPPI at a temperature set by the scorer's error spread on the proposals is worst-case optimal, that no gain can be certified once that spread exceeds the scorer's own, and that an episode's return splits exactly into per-step terms, only some of which the guarantee covers. Calibrated from 100 proposal pairs ranked by true return (an oracle), this rule is the safest fix we test: it keeps on average 86-94% of the cloned policy's return on drawer-open and plate-slide, though it is cautious on window-open, where search helps. Calibrated from a person's own comparisons, it cannot detect a bias the scorer shares with that person; a second person, or correcting for pairs people cannot tell apart, limits the damage.
- Abstract(参考訳): ロボットは、人間の好みから学んだ報酬モデルに対して探索を行うことにより、ますます計画を立てている。
クラウドソースのラベルを持つHalfCheetahとHopper、および2人の著者による合成ラベルとブラインドラベルを持つMeta-Worldのドロワーオープンとプレートスライドでは、MPPI検索の厳格化により、真のリターンは最大で76%削減され、保持ラベルの精度は0.75-0.97に維持される。
この効果は、学習されたダイナミックスモデルと画像スコアラーで持続する。
真のリターンは、プランナーの重みが提案からどのくらい離れているか($\sqrt{\mathrm{KL}}$)と、合成ラベルで訓練された検証器によるベスト・オブ・N$アクションセレクションが、単一のノイズの多いアクション以下になるかにほぼ従う。
提案手法では, スコアラーの誤差がスプレッドした温度で設定した温度において, ^2$-regularized MPPIが最適であること, スプレッドがスコアラー自身を超えるとゲインが証明されないこと, エピソードのリターンがステップごとに正確に分割されること, 保証のいくつかのみがカバーされていることを証明した。
このルールは、真のリターン(オラクル)によってランク付けされた100のプロポーザルペアから判断され、私たちがテストする最も安全な修正です。
個人の比較から判断すると、スコアラーがその人と共有するバイアスを検出することはできない。
関連論文リスト
- SciCheck: A Framework for Verifying the Integrity of Deep Learning Training [47.57672664631601]
SciCheckは、科学者が自由にトレーニング設定を探索し、検証したい候補毎にブループリントを台帳にポストするフレームワークである。
統計的判断モデルは、検証者自身の参照実行とステップごとの勾配統計を比較し、再実行チェックポイントが1回に1回台帳にコミットされるスポットチェックを行う。
テストした攻撃に対して、スポットチェックは、この精度の大部分を考慮し、各レイヤが検出できるものを特徴付けます。
論文 参考訳(メタデータ) (2026-11-06T18:58:38Z) - When Does Test-Time Search Help World Action Models? An Empirical Audit of Candidate Selection and Simulator Integrity [46.258960428253346]
コスモス政策とロボカサの試験時間スケーリングを前提優先の事前登録手法で監査する。
クリーンデータでは、学習した値セレクタはランダムよりも1.66 pp、後光オラクルはわずか1.40 pp、エピソードレベルの間隔は0である。
我々は、公式の直接政治結果に影響を与えないまま、計算量の多い計画経路に沿って急上昇する静かなレンダリングの汚職を特定し、修正する。
論文 参考訳(メタデータ) (2026-10-30T16:21:07Z) - Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。
標準的な最終精度評価は、これらの反対のメカニズムを詳述する。
複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
論文 参考訳(メタデータ) (2026-09-28T14:31:19Z) - Laya as a Typed Probabilistic Assessor: An Independent Reproduction and a Preregistered Study of Calibration and Selective Escalation [0.010480658740597679]
カードはリスクを過信とみなし、測定された方向は逆であり、その方向は、自信に満ちたカスケードのどちらが失敗するかを決定する。
1つの不整合温度は、誤校正の大部分を取り除き、出荷されたオプション単位のテーブルを上回っている。
E1の再現は解析凍結に先行し、E2-E8は前向きに事前登録され、22の検査のうち20の検査はBenjamini-Hochberg FDRの下で$q5$(2 descoped)で拒絶された。
論文 参考訳(メタデータ) (2026-09-27T18:53:26Z) - Odds-Shift Slippage in One-vs-Rest Rankers: Diagnosing and Repairing Reweighting-Induced Top-K Errors [0.0]
多くのレアレーベルの上位Kドルを示すワンレストローダは通常、ラベルごとのポジティブクラスウェイトと不均衡に対処する。
我々は、葉の段差が$c$に抑えられているブースターが、少なくとも$Tc$のシフトを$$$で実現していることを証明している。
論文 参考訳(メタデータ) (2026-09-12T08:45:57Z) - When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide [0.0]
5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。
ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。
結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
論文 参考訳(メタデータ) (2026-08-12T18:10:10Z) - CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning [6.071121358322323]
emphCoREはトレーニングされていないベースを平均で+21.7ドル、多数投票で$20.4ドルで改善する。
投票ボックスではなくグラフとしてロールアウトグループを扱い、不安定な投票を、余分なロールアウトコストなしで、校正され、格付けされ、自己監督された報酬に変える。
論文 参考訳(メタデータ) (2026-08-10T09:06:03Z) - PACE: Anytime-Valid Acceptance Tests for Self-Evolving Agents [0.0]
自己進化型エージェントは、自身のプロンプト、スキル、オーモーフィケーションの変更を繰り返し提案することで改善する。
Qwen2.5 のエージェント (0.5B-3B) が GSM8K, SVAMP, ARC-Challenge のプロンプトレベルで自己進化する際、greedy は 30-42% の偽陽性と 10-33% の有害な編集をコミットする。
PACEは実際のものをコミットし、グリーディのホールトアウトの精度を著しく低いばらつきと約18%低い評価コストで一致させる。
論文 参考訳(メタデータ) (2026-06-06T11:12:11Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳(メタデータ) (2026-06-02T13:41:43Z) - Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。
異なるデータ条件に合わせた2つの学習方法を提案する。
この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
論文 参考訳(メタデータ) (2025-09-30T20:36:41Z) - Partial-Label Regression [54.74984751371617]
部分ラベル学習は、弱い教師付き学習環境であり、各トレーニング例に候補ラベルのセットをアノテートすることができる。
部分ラベル学習に関する従来の研究は、候補ラベルがすべて離散的な分類設定のみに焦点を当てていた。
本稿では,各トレーニング例に実値付き候補ラベルのセットをアノテートした部分ラベル回帰を初めて検討する。
論文 参考訳(メタデータ) (2023-06-15T09:02:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。