論文の概要: REGATTA: A Cross-Domain Measurement Framework and Fault-Injection Harness for Enterprise AI Agents
- arxiv url: http://arxiv.org/abs/2610.30924v1
- Date: Thu, 22 Oct 2026 08:42:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.287192
- Title: REGATTA: A Cross-Domain Measurement Framework and Fault-Injection Harness for Enterprise AI Agents
- Title（参考訳）: エンタープライズAIエージェントのためのクロスドメイン計測フレームワークREGATTAとフォールトインジェクションハーネス
- Abstract要約: 本稿では,3つの測定手段を備えたREGATTAについて紹介する。
125itemのソースを入力したチェックリストは、米国とベトナムの5つの業界別細胞にまたがっている。
25フォールトコーパスは5つのカテゴリをカバーし、ハーネスは設計および実行段階でスイートレベルの障害検出をスコアする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enterprise AI-agent evaluation needs evidence about whether test suites expose specified faults and whether their reference rules are trustworthy. We introduce REGATTA (Regulatory Evaluation of Agents via Two-stage Testing and Assurance), a measurement framework with three instruments. A 125-item source-cited checklist spans five industry-by-jurisdiction cells across the United States and Vietnam. A 25-fault corpus covers five categories, and a harness scores suite-level fault detection at the design and execution stages. We examine four measurement diagnostics on 180 generated suites (5,400 scenarios) from three LLM generators. A source audit finds 24 items misstating the rule in force, 46 additional citation defects, 31 items with only non-binding, unidentifiable, or unverifiable sources, and 24 verified clean. Only initially substance-flagged items received author review; all 24 clean rows received AI review only. Results therefore describe the instruments as written, not legal compliance. Item coverage varies, execution-stage fault profiles are stable across generators, and the historical stages agree on $66$--$69\%$ of fault--suite pairs. A current-model US-insurance retest finds stage disagreement above repeated-execution variation, but stage agreement $.536$ falls below pooled chance $.549$, failing V3's lower inequality. Blind adjudication by one expert supports the design-stage judging protocol ($κ=.72$, 95% interval $[.52,.88]$); 40 current-model execution probes give $κ=.75$. The instruments, audit, and reusable code are released.
- Abstract（参考訳）: エンタープライズAIエージェントの評価には、テストスイートが特定の障害を公開するかどうか、参照ルールが信頼できるかどうかに関する証拠が必要である。
本稿では,REGATTA(Regulatory Evaluation of Agents via Two-stage Testing and Assurance)について紹介する。
125itemのソースを入力したチェックリストは、米国とベトナムの5つの業界別細胞にまたがっている。
25フォールトコーパスは5つのカテゴリをカバーし、ハーネスは設計および実行段階でスイートレベルの障害検出をスコアする。
3個のLCMジェネレータから180生成したスイート(5,400シナリオ)の4つの測定診断について検討した。
ソース監査では、ルールを誤用する24項目、追加の46項目、非結合性、識別不能、検証不能なソースのみを持つ31項目、認証されたクリーン24項目が見つかった。
最初は物流のアイテムのみ著者レビューを受け、24行のクリーン行はすべてAIレビューのみを受け取りました。
結果として、楽器は法的遵守ではなく、書面として記述される。
項目のカバレッジは様々で、実行ステージの障害プロファイルはジェネレータ間で安定しており、歴史的なステージは6.6$--69$%の障害対応ペアで一致している。
現行のUS保証の再試験では、繰り返し実行の変動よりもステージの不一致が見られるが、ステージ合意$.536$はプールされた確率$.549$を下回り、V3の低い不平等を損なう。
設計段階の判断プロトコル(κ=.72$, 95% interval $[.52,.88]$); 40のカレントモデル実行プローブは、κ=.75$を提供する。
楽器、監査、再利用可能なコードはリリースされている。
関連論文リスト
- ClaimScope: Label-Blind Witness Verification for Mathematical Claim Auditing [2.0474890225194193]
ClaimScopeは、検証、スコープ、反例、修復を通じて提案されたクレームを監査するための72タスクのベンチマークである。
証人チェッカーはモデルが提出した状態のみを評価する。
検証対象のフィードバックは、無効なクレームに対する23ドル/39ドル、セーフコンプリートに対する25ドル/72ドル、チェッカーフリーのジェネリックフィードバックに対する15ドル/39ドルと20ドル/72ドルである。
論文 参考訳（メタデータ） (2026-10-15T09:29:02Z) - Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳（メタデータ） (2026-10-13T17:22:58Z) - Watermarking: from Impossibility to Auditable Compliance [78.87513208320995]
EU人工知能法第50条(2)は、合成出力を機械可読かつ検出可能にするために、生成システムの提供者を要求する。
自由形式のテキストにとって、重要な実装の1つは、生成的な透かし処理の実装である。
本稿は、強い透かしに代わる聴覚的な代替品を開発する。
論文 参考訳（メタデータ） (2026-10-05T13:32:41Z) - The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
本研究は, ベットによる検査に基づく漏洩検出について検討する。
13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
論文 参考訳（メタデータ） (2026-09-27T14:14:10Z) - Measurement Boundaries in LLM Financial Agent Evaluation: Fixed-Tape Execution and Multi-Defect Auditing [0.0635655952373977]
本研究では,金融エージェントの評価において,実行性能の解釈と監査スコアの2つの限界について検討する。
StudyAでは、3つの合成セッティング上での独立実行とストレスのある実行を比較することで、実行ルールと新しいモデル応答とポートフォリオフィードバックが混在する。
StudyBでは,従来のタスクをゼロ,1,2の欠陥タスクに,明示的なマルチラベルプロンプトで置き換えることによって,1から2の欠陥からの目標違反リコールの減少は,監査と情報源の組み合わせの5つのうち5つにおいて肯定的である。
論文 参考訳（メタデータ） (2026-09-26T08:54:21Z) - Persuaded, Not Informed: Incentive-Misaligned Witnesses Defeat In-Context Grounding [0.0]
より強力なモデルで対処されていない障害モードを特定します。
文脈が楽観主義へのインセンティブを持つ当事者による主張を含む場合、モデルはこの主張を証拠として扱い、明確化は会社の記録を容認できないとみなす。
論文 参考訳（メタデータ） (2026-09-23T23:52:24Z) - Coding Agents as Test-Suite Auditors: Finding What Official Suites Miss While Approaching What They Catch [47.836680625916266]
テストスイート監査官として機能する市販のコーディングエージェントは、どちらも、公式スイートが見逃すものを公開するために、敵対的なテストスイートを構築します。
認証チェーンは、各エージェントフラッグされた申請が、公式の裁判官に頼らずに、真にバグだらけであるか否かを判定する。
Codeforceは、利用可能なオフィシャルスイートを持たない問題に対して、同じテストビルディングメソッドを使用して、テストされた入力予算毎に5つの再生ベースラインを導出する。
論文 参考訳（メタデータ） (2026-08-03T05:24:03Z) - One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence [41.99844472131922]
一人の人間が1ラウンド当たり$N$ LLMエージェントを予算$B ll N$監査で監査しなければならない。
我々はこれを、2段階のガウス的コーパスに対する予算付きノイズ検査としてモデル化し、信頼度の高い監査がランダムである場合の誤校正しきい値($*$過去)を特定する。
論文 参考訳（メタデータ） (2026-07-30T14:52:36Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - Self-Evolving Agents with Anytime-Valid Certificates [1.2691047660244335]
我々は,小型のステアリングアダプタとEmphfrozenベースモデルを中心としたバージョン付きハーネスに自己修正を限定するアーキテクチャである textbfSEA を提案する。
5つのループコントローラが発行された保証を構成しており、そのようなゲートは凍結されたベースが既に生成している動作の中でのみ選択できるため、5つの検証器・イン・ザ・ループ機構はゲートが必要とする高密度でグレーダフリーな信号を供給する。
結果は高価な評価で単回実行され、実行時から実行時までの分散を確認し、タスク毎のアルゴリズムの混合を適用することが今後の作業である。
論文 参考訳（メタデータ） (2026-07-01T12:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。