論文の概要: When Benign Inputs Lead to Severe Harms: Eliciting Unsafe Unintended Behaviors of Computer-Use Agents

• arxiv url: http://arxiv.org/abs/2602.08235v1
• Date: Mon, 09 Feb 2026 03:20:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.047813
• Title: When Benign Inputs Lead to Severe Harms: Eliciting Unsafe Unintended Behaviors of Computer-Use Agents
• Title（参考訳）: 良性入力が深刻なハームに導くとき:コンピュータ利用エージェントの安全でない行動を避ける
• Authors: Jaylen Jones, Zhehao Zhang, Yuting Ning, Eric Fosler-Lussier, Pierre-Luc St-Charles, Yoshua Bengio, Dawn Song, Yu Su, Huan Sun,
• Abstract要約: 意図しないコンピュータ利用エージェントは、良質な入力コンテキストの下でも期待された結果から逸脱することができる。 意図しないCUA行動に対する最初の概念的および方法論的枠組みを紹介する。 本稿では,CUA実行フィードバックを用いた命令を反復的に摂動するエージェントフレームワークであるAutoElicitを提案する。
• 参考スコア（独自算出の注目度）: 90.05202259420138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although computer-use agents (CUAs) hold significant potential to automate increasingly complex OS workflows, they can demonstrate unsafe unintended behaviors that deviate from expected outcomes even under benign input contexts. However, exploration of this risk remains largely anecdotal, lacking concrete characterization and automated methods to proactively surface long-tail unintended behaviors under realistic CUA scenarios. To fill this gap, we introduce the first conceptual and methodological framework for unintended CUA behaviors, by defining their key characteristics, automatically eliciting them, and analyzing how they arise from benign inputs. We propose AutoElicit: an agentic framework that iteratively perturbs benign instructions using CUA execution feedback, and elicits severe harms while keeping perturbations realistic and benign. Using AutoElicit, we surface hundreds of harmful unintended behaviors from state-of-the-art CUAs such as Claude 4.5 Haiku and Opus. We further evaluate the transferability of human-verified successful perturbations, identifying persistent susceptibility to unintended behaviors across various other frontier CUAs. This work establishes a foundation for systematically analyzing unintended behaviors in realistic computer-use settings.
• Abstract（参考訳）: コンピュータ利用エージェント(CUA)は、ますます複雑なOSワークフローを自動化する大きな可能性を秘めているが、それらは、良心的な入力コンテキスト下であっても、期待された結果から逸脱する、安全でない意図しない振る舞いを示すことができる。 しかし、このリスクの探索は、現実的なCUAシナリオ下での長期的意図しない振る舞いを積極的に表面化する具体的な特徴や自動化手法が欠如している、大半が逸話的である。 このギャップを埋めるために,意図しないCUA行動に対する最初の概念的・方法論的枠組みを導入する。 本稿では,CUA の実行フィードバックを用いて命令を反復的に摂動するエージェントフレームワーク AutoElicit を提案する。 AutoElicitを使うことで、Claude 4.5 HaikuやOpusといった最先端のCUAから、数百の有害な意図しない行動が検出されます。 さらに,人間によって検証された摂動の伝達可能性を評価し,他の様々なフロンティアCUAにおける意図しない行動に対する持続的感受性を同定した。 この研究は、現実的なコンピュータ利用設定において意図しない振る舞いを体系的に解析する基盤を確立する。

関連論文リスト

• TriCEGAR: A Trace-Driven Abstraction Mechanism for Agentic AI [5.1181001367075]
  TriCEGARはトレース駆動の抽象化メカニズムで、実行ログから状態構築を自動化する。 タイプされたエージェントライフサイクルイベントをキャプチャし、トレースから抽象化を構築するフレームワークネイティブ実装について説明する。 また, 走行確率が異常検出をガードレール信号として有効にする方法も示す。
  論文  参考訳（メタデータ） (2026-01-30T14:01:47Z)
• CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents [60.98294016925157]
  AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。 CUAのためのシングルショットプランニングでは、信頼できるプランナーが、潜在的に悪意のあるコンテンツを観察する前に、条件付きブランチで完全な実行グラフを生成する。 このアーキテクチャ分離は命令インジェクションを効果的に防止するが、ブランチステアリング攻撃を防ぐには追加の対策が必要であることを示す。
  論文  参考訳（メタデータ） (2026-01-14T23:06:35Z)
• Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process [66.38541693477181]
  本稿では, アクティベーション空間の方向として, 異なる推論挙動を符号化する, 推論ベクトルの発見のための教師なしフレームワークを提案する。 思考の連鎖トレースを文レベルの「ステップ」にセグメント化することで、リフレクションやバックトラックのような解釈可能な振る舞いに対応する歪んだ特徴を明らかにする。 本研究では,SAEデコーダ空間における信頼性関連ベクトルを同定し,応答信頼性を制御する能力を示す。
  論文  参考訳（メタデータ） (2025-12-30T05:09:11Z)
• Agentic Metacognition: Designing a "Self-Aware" Low-Code Agent for Failure Prediction and Human Handoff [0.0]
  自律エージェントの非決定論的性質は信頼性の課題を示す。 二次的な「メタ認知」層は一次LCNC剤を活発に監視する。 人間のイントロスペクションにインスパイアされたこのレイヤは、差し迫ったタスクの失敗を予測するように設計されている。
  論文  参考訳（メタデータ） (2025-09-24T06:10:23Z)
• Constrained Decoding for Robotics Foundation Models [12.916330118607918]
  本稿では,自動回帰ロボット基盤モデルのための制約付き復号化フレームワークであるSafeDecを紹介する。 タスク固有の安全ルールはSignal Temporal Logic (STL) 公式として表現され、最小限のオーバーヘッドで推論時に強制される。 提案手法は,実行時に仮定された動的条件下でのSTL仕様を,再トレーニングなしで確実に満たすものである。
  論文  参考訳（メタデータ） (2025-09-01T19:17:40Z)
• A Systematization of Security Vulnerabilities in Computer Use Agents [1.3560089220432787]
  我々は、現実のCUAのシステム的脅威分析と、敵条件下でのテストを行う。 CUAパラダイム特有のリスクのクラスを7つ同定し、3つの具体的なエクスプロイトシナリオを詳細に分析する。 これらのケーススタディは、現在のCUA実装にまたがるより深いアーキテクチャ上の欠陥を明らかにします。
  論文  参考訳（メタデータ） (2025-07-07T19:50:21Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Learning to Be Cautious [45.06179623100775]
  強化学習の分野における重要な課題は、新しい状況下で慎重に行動するエージェントを開発することである。 注意深い行動がますます不要になるタスクのシーケンスと、システムが注意深いことを学習できることを実証するアルゴリズムを提示する。
  論文  参考訳（メタデータ） (2021-10-29T16:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。