論文の概要: Risk-Aware Adaptive Evaluation: Finding High-Impact Failures Under Limited Budgets
- arxiv url: http://arxiv.org/abs/2609.38914v1
- Date: Wed, 30 Sep 2026 04:00:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.15505
- Title: Risk-Aware Adaptive Evaluation: Finding High-Impact Failures Under Limited Budgets
- Title（参考訳）: リスク対応型適応評価 : 限られた予算下での高信頼障害の発見
- Abstract要約: 本稿では,対話型エージェント評価のためのリスク認識型コンテキスト型トンプソンサンプリングポリシーを提案する。
私たちは、70ドルの航空会社シナリオと824回のトライアルをオフラインでリプレイしてテストしました。
私たちの主な成果は、最小限の予算で、50回のトライアル(コーパスの6%)で、このポリシーは、オラクルが発見できるインパクト重み付き障害の86%を回復します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating interactive agents is expensive. Agent behavior is stochastic, so reliability must be measured over repeated trials, but failures are rare and differ widely in how much they matter. Standard benchmarks spend this budget uniformly: a read-only lookup is sampled as often as an irreversible payment action. We instead formulate evaluation as a sequential allocation problem. Given a fixed trial budget and a set of scenarios whose failure behavior is unknown, which scenarios should be run, and run again? We propose a risk-aware contextual Thompson Sampling policy that combines a pre-execution scenario context vector and a fixed impact score with the failure outcomes observed during evaluation, and we test it by offline replay over 70 $τ$-bench airline scenarios and 824 recorded trials. Our main result is at the smallest budget: with only 50 trials ($6\%$ of the corpus), the policy recovers $86\%$ of the impact-weighted failures an oracle could find, compared to $25\%$ for uniform allocation. It discovers $3.5\times$ more impact-weighted failures (215.4 vs. 62.2) with the same number of trials, delivers $5\times$ the discovery per dollar, and cuts the budget wasted on scenarios that never fail from $34\%$ to $2.8\%$. The rest of our analysis demonstrates and qualifies this result: a budget sweep shows the advantage shrinks as the budget approaches the corpus size, and paired significance tests show that scenario context helps mainly at small budgets while posterior-based exploration helps at moderate ones. Risk-aware adaptive allocation therefore helps most exactly where evaluation budget is scarcest.
- Abstract（参考訳）: 対話型エージェントの評価は高価です。
エージェントの振る舞いは確率的であるため、繰り返し試行錯誤して信頼性を測る必要があるが、失敗は稀であり、それらがどれほど重要かは広く異なる。
標準ベンチマークでは、この予算を均一に使用しています。読み取り専用ルックアップは、不可逆的な支払いアクションとして頻繁にサンプリングされます。
代わりに、逐次割当問題として評価を定式化する。
固定されたトライアル予算と、障害の振る舞いが不明なシナリオのセットを考えると、どのシナリオを実行して、再度実行するべきか?
本研究では,事前実行シナリオのコンテキストベクトルと固定影響スコアを評価中に観測された障害結果とを組み合わせ,70ドル以上の航空会社シナリオと824回の試験をオフラインでリプレイすることで,リスク認識型コンテクスト型トンプソンサンプリングポリシーを提案する。
私たちの主な成果は最小の予算で、50のトライアル(コーパスの6\%)しか持たないこのポリシーは、オラクルが発見できる衝突重み付き障害の8.6\%を回復する。
215.4 対 62.2 対 3.5\times$ 3.5\times$ 3.5\times$ 3.5\times$ 同じ数の試行錯誤を行い、$5\times$ ドル当たりの発見を提供し、34\% から$2.8\% に失敗しないシナリオに費やされる予算を削減している。
予算がコーパスサイズに近づくと、予算が縮小し、ペアの重要度テストは、シナリオコンテキストが主に小さな予算で役立ち、後続の探索は適度な予算で役立ちます。
したがって、リスク対応のアダプティブアロケーションは、評価予算が不十分な場合に最も役立ちます。
関連論文リスト
- Speculative Evaluation of Stochastic LLMs [48.902430583833585]
投機的評価は、短い一様パイロットと、タスク毎の成功回数のプールを実行する。
HBN-asyncは、部分的なパイロットフィードバックからの継続を投機的に実行し、最終的なアロケーションによって選択されたものを保持する。
1タスクあたり8-64のロールアウト予算では、投機的評価は、Uniformに対する分散を平均12.8%から33.6%削減する。
論文 参考訳（メタデータ） (2026-09-23T09:20:22Z) - BRiG-AFA: Bellman Risk-to-Go Learning for Non-Myopic Active Feature Acquisition [8.363536351727978]
アクティブな機能取得は、予算の下で各テストインスタンスの次を計測する観測されていない機能を要求する。
本稿では,残予算毎に個別の候補条件付きリスク・ツー・ゴー関数を学習する,デプロイ可能な教師付き代替手段であるメソッドを導入する。
論文 参考訳（メタデータ） (2026-08-03T14:30:44Z) - Budgeted Act-or-Defer Multi-Agent LLM Deliberation with Local Reliability Bounds [8.682220907885714]
これを予算化された行動または決定決定として定式化します。
システムは議論のプレフィックスを低次元の状態にマップする。
境界がユーザ指定の信頼性しきい値を超えた場合にのみ作用する。
論文 参考訳（メタデータ） (2026-06-28T23:46:56Z) - Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。
K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。
EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文 参考訳（メタデータ） (2026-05-22T08:26:08Z) - Active Context Selection Improves Simple Regret in Contextual Bandits [25.361115767570244]
有限文脈空間(サブポピュレーション)を用いた文脈多重武装バンディット問題について検討する。
私たちの保証は、報酬分布よりも最悪のケースですが、コンテキスト分布ベクトル$p$に関しては、インスタンス依存のままです。
p$が不明な場合、コンテキスト分布とアクティブアロケーションに切り替える時間を最適に推定するExplore-Explore-Then-Commit (EETC)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-05-19T16:01:58Z) - Escaping the Diversity Trap in Robotic Manipulation via Anchor-Centric Adaptation [50.23374353859762]
多様な単発デモを収集することで「最大限のカバレッジ」を達成できる。
我々は、この現象を包括的-密度トレードオフとして定式化する。
Anchor-Centric Adaptation (ACA) は、2段階のフレームワークで、まずコアアンカーでの繰り返しデモを通じてポリシースケルトンを安定化し、次に教師力によるエラーマイニングと制約付き残差更新を通じて高リスク境界までカバー範囲を広げる。
論文 参考訳（メタデータ） (2026-05-08T07:35:24Z) - Regression-Based Estimation of Causal Effects in the Presence of Selection Bias and Confounding [52.1068936424622]
治療が介入によって設定された場合、対象変数$Y$に対して、予測因果効果$E[Y|do(X)]$を推定する問題を考える。
選択バイアスや欠点のない設定では、$E[Y|do(X)] = E[Y|X]$ となる。
選択バイアスとコンバウンディングの両方を組み込んだフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-26T13:43:37Z) - Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。
適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
論文 参考訳（メタデータ） (2024-05-24T11:22:19Z) - Online Resource Allocation with Average Budget Constraints [17.47923923731483]
平均予算制約によるオンライン資源配分の問題点を考察する。
簡単なポリシーがOmega(sqrtT)$ regretを達成していることを示す。
予算安全バッファを組み込んだ新しいポリシーを提案する。
論文 参考訳（メタデータ） (2024-02-18T02:11:54Z) - Confidence-Budget Matching for Sequential Budgeted Learning [69.77435313099366]
問合せ予算で意思決定問題を定式化する。
我々は,多腕バンディット,線形バンディット,強化学習問題を考察する。
我々は,CBMに基づくアルゴリズムが逆性の存在下で良好に動作することを示す。
論文 参考訳（メタデータ） (2021-02-05T19:56:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。