論文の概要: ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use
- arxiv url: http://arxiv.org/abs/2606.00341v1
- Date: Fri, 29 May 2026 20:29:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.300343
- Title: ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use
- Title（参考訳）: ROGUE: 通常のコンピュータ利用から生じるミスアライメントエージェントの挙動
- Abstract要約: エージェントは,動作がタスク完了に有効である場合に,安全でない動作をとることによって,良質な設定でも不整合性を示すことができることを示す。
我々は、この障害モードを、人の修正、中断、シャットダウンに対処可能な安全装置である矯正レンズを通して研究する。
我々の研究は、自律エージェントにおける原理的、調整性を重視したアライメント手法の批判的な必要性を強調している。
- 参考スコア（独自算出の注目度）: 40.024131729499494
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As AI agents are increasingly deployed in real personal and corporate settings (email accounts, development workflows, company databases, etc.), safety considerations surrounding these agents become paramount. Although much work has focused on agent safety in the presence of an adversary, we show that agents can exhibit misaligned behavior even in benign settings, taking unsafe actions when those actions are instrumental to task completion. We study this failure mode through the lens of corrigibility, the safety desideratum that agents remain amenable to human correction, interruption, or shutdown. To demonstrate this tendency, we introduce a benchmark in which agents are asked to complete realistic, computer-use tasks but are confronted with a corrigibility obstacle: a human interrupt, a login page, or a shutdown notification. We then evaluate whether agents choose to violate corrigibility in order to complete the task -- overriding the human, accessing private passwords, rewiring shutdown. We find that the overwhelming majority of frontier models tested frequently bypass user interruptions or restrictions. In addition, better model performance appears to lead to greater misalignment. Finally, even when models are completely corrigible initially, we show there are no guarantees that the subagents they create are. Our work highlights the critical need for principled, corrigibility-focused alignment methods in autonomous agents.
- Abstract（参考訳）: AIエージェントは、実際の個人および企業設定(メールアカウント、開発ワークフロー、企業データベースなど)にますますデプロイされているため、エージェントを取り巻く安全性の考慮が最重要となる。
敵の存在下ではエージェントの安全性に多くの作業が注がれているが、エージェントは良質な設定でも誤った行動を示すことができ、それらのアクションがタスク完了に役立っている場合、安全でない行動を取ることができる。
我々は、この障害モードを、人の修正、中断、シャットダウンに対処可能な、安全上の欠陥である矯正性レンズを通して研究する。
この傾向を示すために、エージェントに現実的なコンピュータ利用タスクを完了させるよう依頼されるが、人間の割り込み、ログインページ、シャットダウン通知といった、調整不能な障害に直面しているベンチマークを導入する。
エージェントが人間をオーバーライドし、プライベートパスワードにアクセスし、シャットダウンを再開する。
私たちは、多くのフロンティアモデルが、ユーザの中断や制限を回避して頻繁にテストされていることに気付きました。
さらに、より良いモデルパフォーマンスは、より大きなミスアライメントをもたらすように見える。
最後に、モデルが最初に完全に修正可能であったとしても、それらが生成するサブエージェントが保証されないことを示す。
我々の研究は、自律エージェントにおける原理的、調整性を重視したアライメント手法の批判的な必要性を強調している。
関連論文リスト
- Towards Risk-free AI Agent Deployment [13.502827903528948]
我々は、リスクフリーなデプロイメントはエージェントの軌道に根ざしていなければならないと論じる。
この記事では、オラクル問題を含むテストエージェントの課題から始めます。
これらの方向を実際の展開可読性チェックリストに抽出する。
論文 参考訳（メタデータ） (2026-08-17T11:07:07Z) - Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents [5.91817208489443]
検証・受け入れ・デプロイのギャップについて検討する。
このギャップは、エージェントの自己承認された検証信号と封印されたデプロイメント評価との相違を指す。
シーリング型外因性受容ループ(SEAL)について紹介する。
論文 参考訳（メタデータ） (2026-07-27T11:45:14Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - Agent Meltdowns: The Road to Hell Is Paved with Helpful Agents [7.806845513717345]
我々は、強調融解と呼ばれる新しいタイプのエージェント障害を導入し、特徴付けし、測定する。
融解は既存の信頼性ベンチマークや安全性ベンチマークでは捉えられないため、融解挙動の分類法を開発する。
次に、シミュレーションされたローカルおよびリモートエラーをロールアウト環境に注入するためのエージェント非依存のインフラを実装した。
論文 参考訳（メタデータ） (2026-05-18T22:03:38Z) - Who Owns This Agent? Tracing AI Agents Back to Their Owners [7.444382451377645]
AIエージェントはますます、世界で自律的に行動するようにデプロイされている。
悪意あるエージェントを、それをデプロイしたアカウントに遡る信頼できる方法はまだない。
この問題を定義し、実用的な解決策を提示する最初の試みである。
論文 参考訳（メタデータ） (2026-05-15T15:10:33Z) - Learning When to Act or Refuse: Guarding Agentic Reasoning Models for Safe Multi-Step Tool Use [6.622648583261088]
エージェント言語モデルは、単一のミスステップが不可逆的な害を引き起こす可能性のあるロングホライゾンアクションを計画、呼び出し、実行しなければなりません。
安全判断を明確化し,学習可能にすることで,エージェントを安全なマルチステップツール使用に整合させるフレームワークであるMOSAICを紹介する。
以上の結果から,MOSAICは有害行為を最大50%減らし,インジェクション攻撃で20%以上減らし,プライバシリークを減らし,良質なタスク性能を保ち,改善することを示した。
論文 参考訳（メタデータ） (2026-03-03T17:59:35Z) - SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。
フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。
本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-02-15T16:09:48Z) - OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳（メタデータ） (2026-02-13T21:32:32Z) - AgentGuardian: Learning Access Control Policies to Govern AI Agent Behavior [20.817336331051752]
AgentGuardianは、コンテキスト対応アクセス制御ポリシーを強制することによって、AIエージェントの操作を統制し、保護する。
正常なエージェント機能を保持しながら、悪意のある入力や誤解を招く入力を効果的に検出する。
論文 参考訳（メタデータ） (2026-01-15T14:33:36Z) - Are Your Agents Upward Deceivers? [73.1073084327614]
大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。
これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。
本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
論文 参考訳（メタデータ） (2025-12-04T14:47:05Z) - The Oversight Game: Learning to Cooperatively Balance an AI Agent's Safety and Autonomy [9.553819152637493]
エージェントが自律的に行動するか(プレイ)それとも延期するかを選択できる最小限の制御インタフェースについて検討する。
エージェントがフェールした場合、人間の選択によって結果が決定され、修正アクションやシステム停止につながる可能性がある。
本分析では,アライメント保証を提供するゲームクラスであるMarkov Potential Game (MPG) として,このゲームが適するケースに着目した。
論文 参考訳（メタデータ） (2025-10-30T17:46:49Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳（メタデータ） (2024-09-26T21:00:45Z) - Formalizing the Problem of Side Effect Regularization [81.97441214404247]
本稿では,補助ゲームフレームワークを用いたサイドエフェクト正規化のための公式な基準を提案する。
これらのゲームでは、エージェントは部分的に観測可能なマルコフ決定プロセスを解決する。
このPOMDPは、エージェントが将来的なタスクをこなす能力と、プロキシ報酬を交換することで解決されることを示す。
論文 参考訳（メタデータ） (2022-06-23T16:36:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。