論文の概要: CURA: Certified Runtime Alarms for Computer-Use Agents
- arxiv url: http://arxiv.org/abs/2608.27808v1
- Date: Fri, 28 Aug 2026 00:50:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.172722
- Title: CURA: Certified Runtime Alarms for Computer-Use Agents
- Title(参考訳): CURA:コンピュータ利用エージェントの認証実行時アラーム
- Abstract要約: セルフレポートは、デプロイが持つ最も安価な監視チャネルであり、有能なコンピュータ使用エージェントでは、監視が重要な場所を正確に失敗する。
361 OSWorldでは、当社のパイプライン、読み取り専用実現ゲート、プランナー、エグゼキュータが、平均タスクスコア82.9に達し、72.4人の参照を上回ります。
71の障害のうち64件(90%)は成功の主張で終わるが、約9100回の呼び出しで明確な失敗の余裕がないことを認めている。
Alarm-gated Mid-execution oversightが障害70件中23件をリカバリし、38日にフロンティア監視機を使用
- 参考スコア(独自算出の注目度): 6.896160570537455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-report is the cheapest oversight channel a deployer has, and on capable computer-use agents (CUAs) it fails precisely where oversight matters. On 361 OSWorld tasks our pipeline, a read-only feasibility gate, a planner, and a GUI executor, reaches a mean task score of 82.9, above the 72.4 human reference, yet 64 of its 71 failures (90%) end with a success claim, 61 acknowledging no blocker, and the explicit failure affordance is never used in roughly 9,100 calls. We introduce CURA (Certified Runtime Alarms for Computer-Use Agents), an external monitor that reads only harness-visible telemetry, with no model internals, extra LLM calls, or prompt changes, and turns the running trajectory into a sequential test with certified false-alarm control. At alpha = 0.10 its CUSUM alarm detects 42.3% of failures a median of 31 steps before termination at a realized false-alarm rate of 0.066, and risk is partly resolvable before the first action (gate probe, 0.69 AUROC). Retrospectively the composite reaches 0.828 AUROC (fold-internal floor 0.802), but its margin over a total-token baseline is not significant (Delta = +0.026, p = 0.101); the separation is online, where CURA recalls more at matched certified budgets: 0.41 versus 0.34 at alpha = 0.10, 0.56 versus 0.38 at alpha = 0.20. Alarm-gated mid-execution oversight recovers 23 of 70 failures while spending a frontier overseer on 38, giving a deployable cascade at mean score 86.8 and 84.5% full-solve (305 of 361). The certificate bounds false alarms only. We also report where behavioral monitoring is uninformative.
- Abstract(参考訳): セルフレポートは、デプロイ者が持つ最も安価な監視チャネルであり、有能なコンピュータ利用エージェント(CUA)では、監視が重要な場所を正確に失敗する。
361 OSWorldのパイプラインでは、リードオンリーのフィジビリティゲート、プランナー、GUIエグゼキュータが平均タスクスコア82.9に達し、72.4のヒューマンリファレンスを上回り、71の障害(90%)のうち64が成功のクレームで終わり、61がブロッカを承認せず、明示的な障害余裕はおよそ9100コールで使用されることはない。
我々はCURA(Certified Runtime Alarms for Computer-Use Agents)という,モデル内部や余分なLCM呼び出し,あるいは迅速な変更を伴わず,使用可能なテレメトリのみを読み取る外部モニタを導入し,その動作軌跡を疑似警報制御によるシーケンシャルテストに変換する。
アルファ = 0.10 では、CUSUMアラームは失敗の42.3%を検知し、終了前の中央値31ステップを0.066 で検出し、リスクは最初のアクション(ゲートプローブ 0.69 AUROC)の前に部分的に解決できる。
振り返ってみれば、合成は0.828 AUROC (fold-internal floor 0.802)に達するが、総トーケンベースラインに対するマージンは重要ではない(Delta = +0.026, p = 0.101)。
Alarm-gated Mid-execution oversightは、38日にフロンティア監督に費やしながら、70件中23件の障害を回復させ、平均スコア86.8と84.5%(361点中305点)で展開可能なカスケードを与える。
証明書は誤報のみに限定する。
また,行動モニタリングが非形式的であることも報告した。
関連論文リスト
- Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [66.44527094471619]
本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。
3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
論文 参考訳(メタデータ) (2026-09-15T00:31:01Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳(メタデータ) (2026-08-14T19:22:50Z) - Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation [2.1734195143282693]
我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。
機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
論文 参考訳(メタデータ) (2026-08-11T16:01:15Z) - Real-Time Detection and Repair of LLM Agent Failures [0.0]
LLMエージェントは、エポゾドループの途中で失敗し、カスケードツールエラー、ゴールのドリフトオフ、結果の生成、あるいは静かに劣化したコンテンツを吸収する。
1ステップあたりのマイクロ秒のモニターを使用して、正常な実行のみをトレーニングすることで、観測可能なステップ単独で、どの程度の検出が達成できるのかを問う。
システムは1歩あたり200マイクロ秒で、審査員の呼び出しより3桁低い。
論文 参考訳(メタデータ) (2026-08-03T16:34:46Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳(メタデータ) (2026-07-30T16:22:13Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳(メタデータ) (2026-07-21T06:21:13Z) - Doomed from the Start: Early Abort of LLM Agent Episodes via a Recall-Controlled Probe Cascade [14.63102636181275]
大規模言語モデル(LLM)エージェントは、既に失敗する運命にある複数ステップの軌道を継続することで、推論計算を無駄にすることが多い。
隠れ状態プローブを用いたLSMエージェントの早期故障予測と推定時早期停止について検討した。
LLMエージェント推論コストを削減するために,この信号をリコール制御された中止カスケードに変換する。
論文 参考訳(メタデータ) (2026-07-07T17:03:55Z) - From Confident Closing to Silent Failure: Characterizing False Success in LLM Agents [0.0]
単一制御のtau2-benchドメインでは45~48%、二重制御の通信では3%、AppWorldの自己評価のコーディングエージェントトラジェクトリでは75.8%、明確なステータスクレームでは75.8%である。
TF-IDF検出器は、tau2-benchでタスク非結合のAUROC 0.83、AppWorldで0.95を達成する。
論文 参考訳(メタデータ) (2026-06-01T00:13:23Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳(メタデータ) (2026-05-20T19:08:38Z) - ContractBench: Can LLM Agents Preserve Observation Contracts? [9.057486468322933]
観察契約の遵守は、緊急かつ回帰的な能力であることを示す。
ContractBenchは、2つの障害モードを探索する33の二重軸タスクのベンチマークである。
i)評価モデルが80%,Claude-Opus-4.6が77.8%, (ii)Qwen 3.5で4B (0%) から9B (56.6%) の急激な家庭内能力崖が397B-A17Bで70.7%, (iii) GPT-5ファミリーでの非単調性スケーリングが消失した。
論文 参考訳(メタデータ) (2026-05-17T06:37:04Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - Impact of Labeling Inaccuracy and Image Noise on Tooth Segmentation in Panoramic Radiographs using Federated, Centralized and Local Learning [46.232038247686745]
フェデレートラーニング(FL)は、歯科診断AIにおけるプライバシー制約、不均一なデータ品質、一貫性のないラベル付けを緩和する。
複数のデータ破損シナリオを対象としたパノラマX線撮影において,FLと集中学習(CL)と局所学習(LL)を比較した。
論文 参考訳(メタデータ) (2025-09-08T11:07:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。