論文の概要: Tail-Influence Sampling for CVaR Policy Evaluation
- arxiv url: http://arxiv.org/abs/2609.38096v1
- Date: Tue, 29 Sep 2026 17:44:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.801374
- Title: Tail-Influence Sampling for CVaR Policy Evaluation
- Title（参考訳）: CVaR政策評価のための土壌影響サンプリング
- Abstract要約: 我々は,その不確実性がCVaRに与える影響を集約する,クエリ可能な各条件法則に対する尾の影響を導出する。
CliffWalkingでは、MSEを学習者に対して41%削減し、同じ充電された移行予算での完全なロールアウトに対して76%削減する。
- 参考スコア（独自算出の注目度）: 16.398764816978584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Policies with similar mean returns can differ sharply in rare failures, yet estimating lower-tail conditional value-at-risk (CVaR) accurately can require many costly rollouts. When different conditional components of a stochastic workflow can be queried separately, we ask how to allocate a fixed evaluation budget to estimate a fixed policy's CVaR most accurately. We derive a tail influence for each queryable conditional law that aggregates how its uncertainty affects CVaR across every Bellman reuse. Its variance yields the fixed-design efficiency bound and the oracle Neyman allocation. Tail-Influence Sampling (TIS) estimates these influence scales from a pilot model and reallocates fresh queries toward kernels that matter most for the tail; a visitation-anchored variant protects against pilot underallocation. Under fixed dimension and a positive quantile margin, TIS attains oracle asymptotic variance and first-order MSE including pilot cost, while the anchored variant is within a factor two of the oracle. We also characterize an exact-grid regime in which tail- and mean-optimal allocations coincide. On CliffWalking, TIS reduces MSE by 41% versus learned occupancy and 76% versus complete rollouts at the same charged transition budget. In frozen language-model review workflows, anchored TIS beats an equally regularized mean-influence blend in 23 of 24 MMLU-Pro settings and reaches 2.4-3.4$\times$ lower MSE than rollouts on six-call FinQA reviews.
- Abstract（参考訳）: 同様の平均リターンを持つポリシは、稀な障害では著しく異なる場合があるが、低いテール条件付きリスク(CVaR)を正確に見積もるには、多くのコストのかかるロールアウトが必要になる。
確率的ワークフローの異なる条件成分を個別にクエリできる場合、固定された評価予算を割り当てて、固定されたポリシーのCVaRを最も正確に見積もるかを問う。
問い合わせ可能な各条件付き法則に対して、その不確かさがベルマンの再利用毎にCVaRにどのように影響するかをまとめた後尾の影響を導出する。
その分散は固定設計効率境界とオラクル・ネイマンの割り当てをもたらす。
Tail-Influence Sampling (TIS)は、これらの影響スケールをパイロットモデルから推定し、テールにとって最も重要なカーネルに対して新鮮なクエリを再配置する。
固定次元と正の量子的マージンの下では、TISはオラクルの漸近的分散とパイロットコストを含む一階MSEを達成し、アンカーされた変種はオラクルの2要素以内である。
また、テールと平均最適割り当てが一致した正確なグリッド状態も特徴付ける。
CliffWalkingでは、MSEを学習者に対して41%削減し、同じ充電された移行予算での完全なロールアウトに対して76%削減する。
フリーズ言語モデルレビューワークフローでは、アンカー付きTISが24 MMLU-Pro設定の23で等しく正規化された平均インフルエンスブレンドを上回り、6コールFinQAレビューのロールアウトよりも2.4-3.4$\times$低いMSEに達する。
関連論文リスト
- Speculative Evaluation of Stochastic LLMs [48.902430583833585]
投機的評価は、短い一様パイロットと、タスク毎の成功回数のプールを実行する。
HBN-asyncは、部分的なパイロットフィードバックからの継続を投機的に実行し、最終的なアロケーションによって選択されたものを保持する。
1タスクあたり8-64のロールアウト予算では、投機的評価は、Uniformに対する分散を平均12.8%から33.6%削減する。
論文 参考訳（メタデータ） (2026-09-23T09:20:22Z) - Learning to Fluctuate: Statistical Foundations for Causal Tabular Pretraining [8.401473551081748]
本研究では,固定配置人口に必要となる繰り返しサンプル応答を符号化した揺らぎ制御事前訓練(FSP)を導入する。
FSPは、温かいワンスレッドベンチマークでテーブル毎の11.6Times$高速にデプロイします。
2つのランダム化されたスタディ評価は、低いRMSEが残留減衰と共存できることを示している。
論文 参考訳（メタデータ） (2026-09-22T12:03:30Z) - PAIR: Pairwise-Aware Inclusion Reweighting for Adaptive Rollout Allocation in RLVR [0.0]
検証可能な報酬を伴う強化学習は、長い推論軌道の計算生成グループの大部分に費やしている。
最近のアロケータは、難易度やユーティリティのポイントワイズな概念に従って、プロンプト、ロールアウト、トークンに予算を割り当てることで、このコストを削減している。
グループ相対スコア勾配は、独立点寄与の総和ではなく、ロールアウト対に対する2次統計値である。
論文 参考訳（メタデータ） (2026-08-11T19:24:59Z) - Unscented KalmanNet: Structure-Preserving Deep Learning with Calibrated Posterior Uncertainty under Incomplete Physics and Unknown Noise [3.3318820340878528]
既存の学習支援フィルタは、精度と不確かさを別々に扱う。
本稿では、Unscented Kalman Filter(UKF)を拡張したモデルベースディープラーニングアーキテクチャであるUnscented KalmanNet(UKN)を紹介する。
UKNは4つの例の中で最も低い状態推定誤差を達成し、合成ケースではUKFと比較してRMSEを26.4-49.7%削減する。
論文 参考訳（メタデータ） (2026-08-04T19:58:01Z) - Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。
K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。
EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文 参考訳（メタデータ） (2026-05-22T08:26:08Z) - Empirical Bayes Conformal Prediction for Vision and Language Models [20.40115871314124]
コンフォーマル予測(CP)は、現代のビジョンと言語モデルに対して、分布のないカバレッジを提供する。
標準CP は 1 つの実現法を使い、平均列キャリブレートの変種は点推定に滑らかな多重実現法を用いる。
実験的なベイズ共形予測フレームワークについて述べる。これは$r$-valuesを用いて、スコアの変動性を不確実な非整合性スコアに変換する。
論文 参考訳（メタデータ） (2026-05-22T03:17:14Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Regression-Based Estimation of Causal Effects in the Presence of Selection Bias and Confounding [52.1068936424622]
治療が介入によって設定された場合、対象変数$Y$に対して、予測因果効果$E[Y|do(X)]$を推定する問題を考える。
選択バイアスや欠点のない設定では、$E[Y|do(X)] = E[Y|X]$ となる。
選択バイアスとコンバウンディングの両方を組み込んだフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-26T13:43:37Z) - Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。
我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。
NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
論文 参考訳（メタデータ） (2025-03-23T10:52:36Z) - Universal Off-Policy Evaluation [64.02853483874334]
ユニバーサルオフ政治推定器(UnO)への第一歩を踏み出す
我々は, 平均, 分散, 分位数/中間数, 分位数範囲, cvar, および累積分布全体の推定と同時結合に uno を用いる。
論文 参考訳（メタデータ） (2021-04-26T18:54:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。