論文の概要: Selection-Aware Stress Testing for Interactive Agents
- arxiv url: http://arxiv.org/abs/2608.30916v1
- Date: Mon, 31 Aug 2026 14:58:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.459842
- Title: Selection-Aware Stress Testing for Interactive Agents
- Title（参考訳）: 対話型エージェントの選択型ストレステスト
- Abstract要約: SASSTは、発見タスクの事前実行機能からタスクの重み付けを学習し、別個の確認タスクで同じペア比較を評価する。
プロトコルはサポートと安定性をチェックし、計画されたすべてのクレームにジョイントバウンドを使用し、クレームを返さない。
- 参考スコア（独自算出の注目度）: 40.135301960368906
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent evaluations often use one benchmark to choose a workflow and then search for task types where its advantage weakens, so both conclusions are selected from the same data. We introduce Selection-Aware Semantic Stress Testing (\SASST{}), which learns a task reweighting from pre-execution features on discovery tasks and evaluates the same paired comparison on separate confirmation tasks. The protocol checks support and stability, uses joint bounds for all planned claims, and can return no claim. We prove conditional asymptotic validity under stated cluster assumptions. A forty-cluster audit finds Gaussian undercoverage and conservative Bonferroni $t$ bounds. In one 480-episode $τ$-bench study, a $3.75$ point discovery gain vanished on confirmation. A second-model study likewise confirmed neither a workflow benefit nor a stable stress rule.
- Abstract（参考訳）: エージェント評価では、ワークフローを選択するために1つのベンチマークを使用して、その利点が弱まるタスクタイプを検索することが多いため、両方の結論は同じデータから選択される。
Selection-Aware Semantic Stress Testing (\SASST{})を導入し、発見タスクの事前実行機能からタスクの重み付けを学習し、個別の確認タスクで同じペア比較を評価する。
このプロトコルは、サポートと安定性をチェックし、計画されたすべてのクレームにジョイントバウンドを使用し、クレームを返却することができない。
条件付き漸近妥当性をクラスタ仮定で証明する。
40クラスタの監査では、ガウスの潜入と保守的なBonferroni $t$boundsが見つかった。
480-episode $τ$-bench の研究では、確認によって 3.75$ の点発見が消失した。
第2モデルの研究では、ワークフローの利点も安定したストレスルールも確認されていない。
関連論文リスト
- Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - Selective Test-Time Compute Scaling for Click-Through Rate Prediction via Uncertainty-Triggered Feature Path Exploration [9.542597285477683]
テスト時間計算のスケーリングは言語モデルに非常に効果的であることが証明されているが、この機会は産業用クリックスルーレート(CTR)予測では探索されていない。
UTTSI(Uncertainty-Triggered Test-Time Selective Inference)は、トレーニング不要なモデルに依存しないフレームワークで、推論深度をインスタンスごとの不確実性に比例して拡張する。
論文 参考訳（メタデータ） (2026-05-24T10:29:10Z) - CAPS: Cascaded Adaptive Pairwise Selection for Efficient Parallel Reasoning [24.596125996494717]
CAPSは2つの軸に沿って不均一に検証器を割り当てる推論のみのフレームワークである。
CAPSは、コードに対する検証対象の予算の25.4%を使用しながら、20組中14組で先頭のペアワイズ検証器を上回っている。
論文 参考訳（メタデータ） (2026-05-15T01:16:12Z) - Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳（メタデータ） (2026-04-07T11:45:55Z) - Global Sequential Testing for Multi-Stream Auditing [13.390852646411929]
機械学習システムの性能を継続的に監査し、異常な振る舞いを素早く検出することが重要である。
これは、$k$のデータストリームとグローバルなヌル仮説によるシーケンシャルな仮説テスト問題としてモデル化できる。
実験マーチンガレットとトレードオフの異なるマーチンガレットを、異なる、疎い、あるいは密度の高い代替仮説の下で、期待停止時間にマージングするアイデアを用いて、新しいシーケンシャルテストを構築する。
論文 参考訳（メタデータ） (2026-02-25T01:10:45Z) - Regularized $f$-Divergence Kernel Tests [24.182732872327183]
本稿では,$f$-divergences のファミリからカーネルベースの2サンプルテストを構築するためのフレームワークを提案する。
統計的テストパワーの理論的保証として$f$-divergenceの推定を行う。
機械学習において,真の学習失敗を安全な分布変動と区別する相対的テストを提案する。
論文 参考訳（メタデータ） (2026-01-27T16:15:48Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z) - Sequential Predictive Two-Sample and Independence Testing [114.4130718687858]
逐次的非パラメトリック2サンプルテストと独立テストの問題点について検討する。
私たちは賭けによる(非パラメトリックな)テストの原則に基づいています。
論文 参考訳（メタデータ） (2023-04-29T01:30:33Z) - Sequential Kernelized Independence Testing [77.237958592189]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳（メタデータ） (2022-12-14T18:08:42Z) - Model-Free Sequential Testing for Conditional Independence via Testing
by Betting [8.293345261434943]
提案されたテストでは、任意の依存関係構造を持つ入ってくるi.d.データストリームを分析できる。
重要な結果が検出されれば,オンライン上でのデータポイントの処理を可能とし,データ取得を停止する。
論文 参考訳（メタデータ） (2022-10-01T20:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。