論文の概要: Beyond Task Completion: Training Capable and Safe Computer-Use Agents
- arxiv url: http://arxiv.org/abs/2609.22178v2
- Date: Tue, 22 Sep 2026 06:39:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.758637
- Title: Beyond Task Completion: Training Capable and Safe Computer-Use Agents
- Title(参考訳): タスク完了を超えて: トレーニング機能と安全なコンピュータ使用エージェント
- Abstract要約: コンピュータ利用エージェント(CUA)は、良質なタスクを完了し、環境の危険を回避し、安全な完了パスが残っているときに継続する必要がある。
我々は、タスク実行能力と安全対応意思決定のためのCUAを共同で訓練するSCOPE(Safety and Capability Optimization for Policy Execution)を開発した。
SCOPE-RLはOSWorldで54.17%のタスク成功率、OS-BLINDで64.30%のアタック回避率を達成した。
- 参考スコア(独自算出の注目度): 6.43574655903064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computer-use agents (CUAs) have made rapid progress in completing complex tasks through graphical user interfaces, yet post-training centered on task success alone does not induce reliable safety behavior. A reliable CUA must condition its execution on risk: it should complete ordinary benign tasks, avoid environmental hazards and continue when a safe completion path remains, and refuse when the goal is harmful or no safe path exists. To learn this conditional policy, we develop Safety and Capability Optimization for Policy Execution (SCOPE), which jointly post-trains a CUA for task-execution capability and safety-aware decision making. To provide aligned training data for this joint objective, we further introduce SCOPE-Gen, an automated pipeline that synthesizes verifiable capability tasks and converts them into paired environment-risk variants while preserving their original goals. Using the resulting tasks, we construct SATraj-OS, a trajectory dataset comprising capability demonstrations, safe continuations, and explicit refusals. SCOPE first learns from all three trajectory types through supervised fine-tuning and then further improves task completion through online reinforcement learning. Starting from Qwen3.5-9B, SCOPE-RL achieves a 54.17% task success rate on OSWorld and a 64.30% attack-avoidance rate on OS-BLIND, yielding the best aggregate capability--safety score of 58.80% among the evaluated agents. Ablations reveal asymmetric but complementary roles for the two forms of safety supervision: refusal trajectories account for most of the attack-avoidance gain, whereas risk-handling trajectories preserve greater task utility at comparable attack-avoidance levels.
- Abstract(参考訳): コンピュータ利用エージェント(CUA)は、グラフィカルユーザインタフェースを通じて複雑なタスクを迅速に完了させているが、タスクの成功のみに焦点を絞った後トレーニングは、信頼性の高い安全行動を引き起こすものではない。
信頼できるCUAは、通常の良心的なタスクを完了し、環境の危険を回避し、安全な完了経路が残っている場合を継続し、目標が有害であるか、あるいは安全な経路が存在しない場合を拒否しなければならない。
この条件付き政策を学習するために,タスク実行能力と安全対応意思決定のためのCUAを共同で訓練するSCOPE(Safety and Capability Optimization for Policy Execution)を開発した。
この共同目的のためのアライメントトレーニングデータを提供するために,検証可能な機能タスクを合成し,元の目標を保ちつつ,それらをペア化された環境リスク変種に変換する自動パイプラインであるSCOPE-Genを導入する。
その結果,SATraj-OSは機能実証,安全な継続,明示的な拒絶を含む軌道データセットである。
SCOPEは、まず教師付き微調整を通して3つの軌道タイプすべてから学習し、さらにオンライン強化学習によりタスク完了を改善する。
Qwen3.5-9Bから、SCOPE-RLはOSWorldで54.17%のタスク成功率、OS-BLINDで64.30%のアタック回避率を獲得し、評価されたエージェントの中で最高のアグリゲーション能力-安全性スコア58.80%を得る。
回避軌道は攻撃回避効果の大部分を占めるが、リスク処理軌道は同等の攻撃回避レベルにおいてより大きなタスクユーティリティを保持する。
関連論文リスト
- AgentCanary: A Security Evaluation Framework for Autonomous AI Agents in Real Executable Environments [32.982317538632806]
本稿では,自律型AIエージェントの総合的セキュリティ評価フレームワークであるAgentCanaryを提案する。
AgentCanaryは3つのコントリビューションに沿って、システマティックなソリューションを提供する。
我々は,AgentCanaryのフロンティアモデルに対して,複数の確立した敵攻撃手法に対して,幅広いフロンティアモデルを評価する。
論文 参考訳(メタデータ) (2026-06-09T06:55:37Z) - VLESA: Vision-Language Embodied Safety Agent for Human Activity Monitoring [60.53395558502203]
Vision-Language Embodied Safety Agent (VLESA)は、自我中心のビデオから人間の活動を監視する。
VLESAは、コンテキストに応じて同一のアクションが安全または危険である意図に依存した安全性に対処する。
目標を共同で推測し,映像から将来の行動を予測するための意図-行動予測エージェントを提案する。
論文 参考訳(メタデータ) (2026-06-02T17:42:17Z) - SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳(メタデータ) (2026-06-01T14:23:42Z) - Safety-Constrained Reinforcement Learning with Post-Training Reachability Verification for Robot Navigation [13.151825012034886]
本稿では,外部のTD3バックボーン上での条件付きバリュー・アット・リスク(CVaR)制約による最適化を通じて,リスクに敏感なポリシをトレーニングするフレームワークを提案する。
トレーニング中、このポリシーは累積コストに対するCVaR制約の下で最適化され、高コストテール結果に対する感受性が促進される。
重要な発見は、CVaR制約で訓練されたポリシーが、評価された状態の障害からより大きな安全マージンを維持することである。
論文 参考訳(メタデータ) (2026-05-13T22:53:47Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳(メタデータ) (2026-05-12T09:56:28Z) - SafeHarness: Lifecycle-Integrated Security Architecture for LLM-based Agent Deployment [19.947119280467934]
セーフハーネス(Safeharness)は、4つの防衛レイヤがエージェントライフサイクルに直接織られるセキュリティアーキテクチャである。
ベンチマークデータセットの安全性を、多様なハーネス構成で評価する。
論文 参考訳(メタデータ) (2026-04-15T08:59:00Z) - AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。
SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。
我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
論文 参考訳(メタデータ) (2025-06-17T16:37:35Z) - Safety Correction from Baseline: Towards the Risk-aware Policy in
Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。
このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。
提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文 参考訳(メタデータ) (2022-12-14T03:11:25Z) - Conservative Safety Critics for Exploration [120.73241848565449]
強化学習(RL)における安全な探索の課題について検討する。
我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。
提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
論文 参考訳(メタデータ) (2020-10-27T17:54:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。