論文の概要: Generated Evaluation Suites as Diversity-Driven Search for Real Agent Regressions
- arxiv url: http://arxiv.org/abs/2611.17632v1
- Date: Fri, 13 Nov 2026 01:03:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.286491
- Title: Generated Evaluation Suites as Diversity-Driven Search for Real Agent Regressions
- Title(参考訳): エージェント回帰のための多様性駆動探索のための評価スイートの生成
- Abstract要約: エージェント仕様から評価スイートを生成するために,多様性駆動型検索を用いる。
コントロールされた7つの欠陥を2つのドメインにわたる2ドルのベンチエージェントに注入します。
5つのトレーサブルな欠陥のうち4つは、天井が検出しきい値の0.10ドル以下にあるため、内部プリント効果がスイートを移動させることはない。
欠陥は、トレースアライメントされたもの、セル毎のスコアリングがツール除去欠陥を完全に回復し、重要な改善として2つ目が明らかにされるもの、フットプリントが行動的であるトレース直交のもの、の2つに分けられる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating an evaluation suite from an agent's specification is diversity-driven search: a generator fills a descriptor space (requirements $\times$ personas $\times$ scenario kinds), and the suite it emits is an archive, then scored like a benchmark by its mean pass rate, which throws away the search's product. We inject 7 controlled defects into a $τ^2$-bench agent across two domains. Coverage yields a ceiling: if a defect's traced footprint holds $b$ scenarios that pass at baseline, it can itself contribute at most $b/N$ to a suite of $N$. For 4 of 5 traceable defects that ceiling lies at or below the detection threshold $θ= 0.10$, so no within-footprint effect can move the suite past it; in both domains the tool-removal defect destroys every covered scenario it can (exactly its ceiling) while the suite-level pass rate moves the other way. Defects split into two regimes: trace-aligned ones, where per-cell scoring recovers the tool-removal defect in full and reveals a second as a significant improvement, and trace-orthogonal ones, whose footprint is behavioural: forced escalation is detected in retail at a traced coverage of exactly zero. Diversity along the generator's own axes helps only where it aligns: at fixed suite size a happy-path-only suite detects nothing, while a kind-diverse one detects the orchestration defect in 5 of 20 draws. Evaluation archives should be scored per cell and should publish coverage as a first-class property.
- Abstract(参考訳): ジェネレータはディスクリプタ空間を埋め(要求$\times$personas$\times$ scenario kinds)、出力するスイートはアーカイブで、平均パスレートでベンチマークのようにスコアされ、検索の製品を捨てる。
制御された7つの欠陥を2つのドメインにわたる$τ^2$-benchエージェントに注入する。
欠陥のトレースされたフットプリントがベースラインを通り抜ける$b$のシナリオを保持すれば、それ自身で最大$b/N$から$N$のスイートにコントリビュートすることができます。
検出しきい値の θ= 0.10$ 以下にある5つのトレーサブル欠陥のうち4つは、シークレットが検出しきい値の θ= 0.10$ 以下であるので、イントラフットプリント効果がスイートを通り抜けることはない。
欠陥は2つのレギュレーションに分けられる: トレースアライメント、セル毎のスコアリングが完全なツール除去欠陥を回復し、重要な改善として2回目が明らかにされる。
固定されたスイートサイズでは、ハッピーパスのみのスイートが何も検出せず、親切なディバースのスイートは、20ドローのうち5ドローでオーケストレーションの欠陥を検出する。
評価アーカイブはセルごとにスコアされ、第1級のプロパティとしてカバレッジを公開する必要がある。
関連論文リスト
- SpectralCanary: Embarrassingly Simple Low-Frequency Traces for T2I Dataset-Use Auditing [39.69179424292325]
テキスト・トゥ・イメージ(T2I)モデルが特定の画像コレクションに微調整されているかどうかを確認することは困難である。
これはスムーズなローパスマスクを使用して、固定されたカナリアイメージをすべてのコレクションイメージにブレンドするものだ。
軽量検証器は、疑似モデル出力における転送信号を検出する。
論文 参考訳(メタデータ) (2026-10-22T17:59:03Z) - Interpolation Is Not Invariance: Pair Count Is Not Coverage in Transformation Audits [0.0]
同等のペアをカウントすることは、トランスフォーメーション監査のカバレッジを報告するための一般的な方法であるが、監査によって課される制約を大幅に上書きすることができる。
4つの相補的な量 - エッジカウント$m$, 効果的なコントラストランク$s$, 人口支援ランク$r$, グラフスペクトルギャップ$$-と, 監査カバレッジとデプロイメントの信頼性における役割を特徴づける。
論文 参考訳(メタデータ) (2026-09-14T00:40:14Z) - Fixed-order postselected CHSH reference acquisition for parity-constrained spatial-mode qubits on a commercial cloud photonic processor [0.0]
我々は,Quandelaの商用クラウドアクセス可能なベレノスプロセッサ上で,2つの符号化されたフォトニックキュービットに対して,Clauser-Horne-Shimony-Holt (CHSH) の取得と報告を行う。
各論理キュービットは、8モードの単一光子レジスタの7次元ゼロサムセクターにおける2次元空間モード部分空間である。
論文 参考訳(メタデータ) (2026-08-13T01:08:02Z) - Which Model Is Actually Serving You? IRIS: Budgeted Black-Box Auditing of Model Substitution and Routing Dilution in LLM Gateways [6.964275075635626]
返却されたテキストのみを必要とする監査である$mathrmIRIS$を提示します。
安価なパイロットは指数的なクエリエラーの崩壊に適合し、疑わしいクエリが発行される前にその予算を凍結する。
$mathrmIRIS$ match or beats detection on shared task, and adapt allocationss the matched-budget target-hit rate from 7,3$% to 8,7$%。
論文 参考訳(メタデータ) (2026-07-23T02:32:08Z) - Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness [45.148328075418156]
デプロイされた注文エージェントは、階層の固定された分類に分解される。
純粋なスイートは、ロックされたスライス単位のベースラインに対して、すべての変更でCIで動作する。
制御されたレグレッションインジェクションにより、安全でない7つの層に一度に1つの層を分解し、検証する。
論文 参考訳(メタデータ) (2026-06-10T05:55:13Z) - The Security Budget of Code-LLM Prompt Hardening: Provable Limits Under Pass-Only Acceptance [0.0]
本稿では,emphTri-Audit Protocolとしてフロアを運用する。このプロトコルは,プロンプト側推論レジストリ属性をモデル側実証ログから分離する2軸レポーティングプロトコルである。
CodeLlama-7B, Qwen2.5-Coder-7B/1.5B and DeepSeek-Coder-6.7B at $n=164$ yields the emphCross-Model Tri-Audit Invariance: of 28 pass-serving rows, 12-changed-of-record learned-can
論文 参考訳(メタデータ) (2026-06-02T08:22:14Z) - From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。
本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
論文 参考訳(メタデータ) (2026-05-21T04:54:55Z) - VeriX-Anon: A Multi-Layered Framework for Mathematically Verifiable Outsourced Target-Driven Data Anonymization [0.0]
VeriX-Anonは、オープンソースのターゲット駆動k匿名化のための多層検証フレームワークである。
認証決定木のメルクル式ハッシュによる決定論的検証、ランダムフォレスト決定境界付近の境界センチネルによる確率的検証、および暗号識別子による正確な重複性ツインズの組み合わせである。
12のシナリオのうち11の偏差を正しく検出した。
論文 参考訳(メタデータ) (2026-04-14T08:22:18Z) - Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳(メタデータ) (2026-04-07T11:45:55Z) - High-Dimensional Robust Mean Estimation with Untrusted Batches [38.14592862692954]
本研究では,N$ユーザによるデータのコントリビューションを行う協調環境での高次元平均推定について検討した。
例えば、$varepsilon$-fraction of users is completely adversarial, and the more good' users provide data from distributions that related to $P$ but deviate by a near parameter $$.
我々のアルゴリズムは、最小最大誤差率$O(sqrtvarepsilon/n + sqrtd/nN + sを達成する。
論文 参考訳(メタデータ) (2026-02-24T08:59:37Z) - Detection as Regression: Certified Object Detection by Median Smoothing [50.89591634725045]
この研究は、ランダム化平滑化による認定分類の最近の進歩によって動機付けられている。
我々は、$ell$-bounded攻撃に対するオブジェクト検出のための、最初のモデル非依存、トレーニング不要、認定された防御条件を得る。
論文 参考訳(メタデータ) (2020-07-07T18:40:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。