論文の概要: World Models Need Not Be Right to Rank Policies Right: Relative Bounds and Audit Limits
- arxiv url: http://arxiv.org/abs/2611.01139v1
- Date: Sat, 31 Oct 2026 17:30:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-13 07:44:23.693184
- Title: World Models Need Not Be Right to Rank Policies Right: Relative Bounds and Audit Limits
- Title(参考訳): 世界のモデルが適切なランク付けする必要はない-相対的境界と監査制限
- Abstract要約: 絶対値が低いにもかかわらず、モデルエラーを共有することはペアワイズランキングを維持できるだろうか。
我々は、ポリシー固有の誤差から、厳密なペアワイズシミュレーションIDと、相対的に有界な共通モードベルマン残差を導出する。
RAVELは低予算歩行の後悔を改善するが、実際の半減期は最大予算で良好であり、事前の2倍効率の目標を拒絶する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Selecting a reinforcement-learning (RL) policy usually requires additional environment interaction, while learned world models offer cheap but potentially biased evaluations. This raises two distinct questions: can shared model errors preserve pairwise rankings despite poor absolute values, and do they make a small number of real audits more informative? We derive an exact pairwise simulation identity and a relative bound separating common-mode Bellman residuals from policy-specific error. The analysis motivates RAVEL (Relative Auditing of Value Errors in Learned models), a selective policy tournament whose eliminations use held-out real outcomes. We test 45 SAC, TD3, and PPO policies per task in DMC cheetah-run and walker-walk. At rollout horizon 500, model rankings remain strong (Kendall tau = 0.962 and 0.800), and same-run differential-error ratios are 0.674 and 0.106. Yet mean paired audit-error correlations are only 0.007 and 0.090, and pairing changes standard deviation by -2.5 percent and +1.9 percent. Simultaneous intervals attain 99.98 percent and 99.75 percent coverage, but certify only 13.2 percent and 0 percent of decisions at eight audits. RAVEL improves low-budget walker-walk regret, whereas real-only successive halving is better at the largest budget, rejecting the precommitted twofold efficiency target. Frozen-model optimization lowers real return without increasing predicted return on average. Thus ranking fidelity, useful audit covariance, and upward model exploitation are distinct properties, separated in part by closed-loop trajectory divergence.
- Abstract(参考訳): 強化学習(RL)ポリシーを選択するには、通常、追加の環境相互作用が必要であるが、学習された世界モデルは安価だがバイアスのある評価を提供する。
これは2つの異なる疑問を提起する: 絶対値が低いにもかかわらず、モデルエラーを共有することはペアワイズランキングを維持することができる。
我々は、ポリシー固有の誤差から、厳密なペアワイズシミュレーションIDと、相対的に有界な共通モードベルマン残差を導出する。
この分析はRAVEL (Relative Auditing of Value Errors in Learned Model) を動機付けている。
我々はDMCチーターランおよびウォーカーウォークにおいて,タスク毎のSAC,TD3,PPOポリシーを45回試験した。
ロールアウト・ホライズ500ではモデルランキングが強く(ケンダル・タウ=0.962と0.800)、同値差エラー率は0.674と0.106である。
しかし、ペア化された監査エラーの相関は0.007と0.090に過ぎず、ペアリングは標準偏差を-2.5%と+1.9%に変化させる。
同時間隔は99.98パーセントと99.75パーセントであるが、8回の監査では13.2%と0パーセントの判定しか証明されていない。
RAVELは低予算歩行の後悔を改善するが、実際の半減期は最大予算で良好であり、事前の2倍効率の目標を拒絶する。
凍結モデル最適化は、平均的なリターンを増大させることなく、実際のリターンを低下させる。
したがって、ランクの忠実さ、有用な監査共分散、上向きモデルの利用は異なる性質であり、部分的には閉ループの軌跡のばらつきによって分離される。
関連論文リスト
- Right Ranking, Wrong Scale: Reproducing the Robotic World Model's Dynamics Model and Testing the Uncertainty of Its Follow-up [0.0]
モデル自身のロールアウトでのトレーニングは、プレ登録された長い地平線で10エピソードすべてで1ステップのトレーニングに勝るが、短い1ステップのウィンドウでは負ける。
アンサンブルメンバーを自身の予測で転がすと、カバー範囲は33%に増加する。
水平方向特異的な再スケーリングは、残差評価の下で1シグマカバレッジを復元するが、2シグマカバレッジは回復しない。
論文 参考訳(メタデータ) (2026-11-02T07:52:09Z) - Auditing Escalation Reliability in Healthcare LLM Agents: A Perturbation-Controlled Benchmark of Workflow-State Failures [4.287745257410248]
我々は、400の総合医療ワークフローエピソードとしてエピソードレベルの評価プロトコルをインスタンス化する。
4つのタスククラスに40個の手書きセマンティックシード、2つの表面パラメータ化、5つの制御された変種。
明確な決定精度は0.97に達するが、不確実性のあるモデルでは、必要なエスカレーションの32--97%を見逃している。
論文 参考訳(メタデータ) (2026-10-15T05:04:10Z) - ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳(メタデータ) (2026-09-15T04:59:03Z) - Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [69.06648810271712]
本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。
3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
論文 参考訳(メタデータ) (2026-09-15T00:31:01Z) - Governed Human-AI Prioritization Under Uncertainty: Adaptive Estimation and Dependency-Constrained Portfolio Selection [0.0]
AIネイティブなソフトウェアエンジニアリングは、人間の判断、過去のアナロジー、パラメトリック推定、AI生成予測を、同じ優先順位決定の中で組み合わさりつつある。
ビジネスバリュースコア(BVS)、Effort and Risk Score(ERS)、優先順位付け値スコア(PVS)、集合スコア(CCS)、最適開発パス(ODP)の5つの量演算子について検討する。
論文 参考訳(メタデータ) (2026-09-09T14:04:37Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳(メタデータ) (2026-08-08T13:22:14Z) - Distribution-First Population Simulation: Collapse, Calibration, and Recall in Non-WEIRD LLM Persona Modeling [0.0]
合成親和性ツールは、独立大規模言語モデル(LLM)エージェントとして各個人を動作させる。
このパラダイムには基本的な障害モードがあることを示し、分散優先の修正をそれに対して設定する。
論文 参考訳(メタデータ) (2026-07-17T15:45:57Z) - Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。
選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。
これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文 参考訳(メタデータ) (2026-04-20T00:57:31Z) - Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。
我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。
結果のアルゴリズム(MnM)は概念的にはGANと似ている。
論文 参考訳(メタデータ) (2021-10-06T13:43:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。