論文の概要: Dynamic Budget Allocation for LLM Evaluation under Hard Resource Constraints

• arxiv url: http://arxiv.org/abs/2610.07362v1
• Date: Mon, 05 Oct 2026 20:31:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.654765
• Title: Dynamic Budget Allocation for LLM Evaluation under Hard Resource Constraints
• Title（参考訳）: 資源制約下におけるLCM評価のための動的予算配分
• Abstract要約: 予測キャリブレーション(HARP)のためのリフローを用いたハード予算割当の導入 HARPは、ハードリソースの制約を満たし、未使用の予算を適応的に再割り当てする予算配分である。 本稿では、HARPを用いて時間と時間で低い予測境界(LPB)を構築する方法を示し、固定ベンチマーク上でのジェイルブレイク率などの評価指標を推定する。
• 参考スコア（独自算出の注目度）: 22.523809021772802
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We evaluate large language models (LLMs) in multi-turn interactions through their time-to-event: the number of interaction steps required to produce an event of interest, such as a successful jailbreak or agentic task completion. Under limited compute, interactions may be terminated before the event occurs, so that event times are only partially observed (censored). Existing allocation methods for calibrating time-to-event bounds satisfy the budget only in expectation and can exceed the available budget on a particular evaluation run. Enforcing a hard constraint is particularly challenging as the cost of a trajectory is initially unknown. We introduce Hard-budget Allocation with Reflow for Predictive calibration (HARP), a budget allocation that satisfies hard resource constraints and adaptively reallocates unused budget. We show how to use HARP to construct lower predictive bounds (LPBs) on the time-to-event and to estimate evaluation metrics such as the jailbreak rate on a fixed benchmark. Although HARP induces dependence in acquisition decisions across different trajectories, we prove that HARP never exceeds the target budget, that its LPBs have finite-sample coverage guarantees, and that its metric estimates are unbiased. Experiments on agentic task success, LLM jailbreaks, toxic content generation, and RAG hallucinations show that HARP achieves coverage close to the nominal level with low variance, while never exceeding the given budget.
• Abstract（参考訳）: 我々は,マルチターンインタラクションにおける大規模言語モデル (LLM) の評価を行う。例えば,ジェイルブレイクやエージェントタスク完了などのイベントを生成するのに必要なインタラクションステップの数である。 限られた計算の下では、イベントが発生する前に相互作用が終了する可能性があるため、イベント時間は部分的にしか観測されない(検閲)。 既存のタイム・ツー・エグゼクティブ・バウンドをキャリブレーションするための割当手法は、期待値のみを満足し、特定の評価実行において利用可能な予算を超えることができる。 軌道のコストが当初不明であったため、特に厳しい制約を課すことは困難である。 本稿では、ハード・バジェット・アロケーションと予測キャリブレーション(HARP)を導入し、ハードリソースの制約を満たし、未使用の予算を適応的に再配置する。 本稿では,HARPを用いて時間と時間で低い予測境界(LPB)を構築する方法と,固定ベンチマーク上でのジェイルブレイク率などの評価指標を推定する方法について述べる。 HARPは、異なる軌跡をまたいだ買収決定への依存を誘導するが、HARPが目標予算を超えないこと、LPBが有限サンプルカバレッジを保証すること、測定値が偏りがないことを証明している。 LLMジェイルブレイク、有毒なコンテンツ生成、RAG幻覚の実験は、HARPが与えられた予算を超えることなく、名目レベルに近い範囲を低分散で達成していることを示している。

関連論文リスト

• Provable Test-Time Scaling for Beam Search in LLM Reasoning [62.83768341138575]
  一般的に使用されているビームサーチフレームワークの試験時間計算保証について検討する。 CF-Beamの後悔は稀な故障発生の確率によって上界にあることを示す。 本結果は,シーケンスレベルの推論法よりもビームサーチの基本的な利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-09-29T23:56:06Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Escaping the Diversity Trap in Robotic Manipulation via Anchor-Centric Adaptation [50.23374353859762]
  多様な単発デモを収集することで「最大限のカバレッジ」を達成できる。 我々は、この現象を包括的-密度トレードオフとして定式化する。 Anchor-Centric Adaptation (ACA) は、2段階のフレームワークで、まずコアアンカーでの繰り返しデモを通じてポリシースケルトンを安定化し、次に教師力によるエラーマイニングと制約付き残差更新を通じて高リスク境界までカバー範囲を広げる。
  論文  参考訳（メタデータ） (2026-05-08T07:35:24Z)
• How Many Iterations to Jailbreak? Dynamic Budget Allocation for Multi-Turn LLM Evaluation [22.523809021772802]
  大規模言語モデル(LLM)の多ターン会話設定における重要なイベントは、しばしば繰り返し対話の後にのみ現れる。 最近のコンフォメーションサバイバルフレームワークは、関心のイベントをトリガーするイテレーション数に基づいて、信頼できる低い予測境界(LPB)を構築している。 DAPROは,マルチターンインタラクションにおいて,時間と時間の境界を設定するための,理論上有効な動的予算配分フレームワークである。
  論文  参考訳（メタデータ） (2026-05-07T17:25:15Z)
• Adaptive Test-Time Compute Allocation for Reasoning LLMs via Constrained Policy Optimization [18.737087162461563]
  テストタイムの計算スケーリングは、大規模言語モデルのパフォーマンスを向上させるための強力なレバーとなっている。 しかし、これらのテクニックを有限の推論予算の下で展開するには、現在のシステムがほとんど無視する決定が必要である。 我々はこれを制約付き最適化問題(平均計算予算の予測精度を最大化する)として定式化し、2段階のソルベ・テン・ラーンパイプラインで解いた。
  論文  参考訳（メタデータ） (2026-04-16T10:39:22Z)
• Spend Less, Reason Better: Budget-Aware Value Tree Search for LLM Agents [40.18150559561834]
  Budget-Aware Value Tree (BAVT) は、動的検索ツリーとしてマルチホップ推論をモデル化するトレーニングフリーの推論時間フレームワークである。 BAVTは一貫して並列サンプリングベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-03-13T04:10:27Z)
• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)
• Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
  我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。 具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。 提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
  論文  参考訳（メタデータ） (2023-10-25T02:37:51Z)
• Provably Efficient Model-Free Algorithms for Non-stationary CMDPs [10.930095238723327]
  非定常制約マルコフ決定過程におけるモデルフリー強化学習アルゴリズムについて検討した。 非定常環境では、累積変動が一定の変動予算を超えない限り、報酬、ユーティリティ関数、遷移カーネルは時間とともに任意に変化する。 本稿では,非定常CMDPに対するサブ線形後悔と制約違反をゼロとする,モデルフリーでシミュレータフリーなRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-10T06:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。