論文の概要: ANCHOR: Automated Alignment Auditing for CLI Agents on Real-World Harm
- arxiv url: http://arxiv.org/abs/2607.10455v1
- Date: Sat, 11 Jul 2026 19:39:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.433131
- Title: ANCHOR: Automated Alignment Auditing for CLI Agents on Real-World Harm
- Title（参考訳）: ANCHOR: リアルタイムハーム上でのCLIエージェントのアライメント監査を自動化する
- Abstract要約: 本稿では,米国公判における不正行為に対して,CLIエージェントをストレステストする自動監査フレームワークANCHORを紹介する。
ANCHORは、教師付きおよび強化された微調整を用いて、暗黒人格データに基づいて微調整された監査エージェントをデプロイする。
CLIエージェントは直接的に指示された時に不正なタスクを拒否することが多いが、コンプライアンスは永続的な悪意のあるインタラクションの下で100%に達する。
- 参考スコア（独自算出の注目度）: 10.68988263379927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous CLI agents can now execute hundreds of actions across multi-hour sessions: writing code, executing shell commands, browsing the web, and managing cloud infrastructure, all with minimal human oversight. Does greater autonomy invite greater risk? We introduce ANCHOR, an automated auditing framework that stress-tests CLI agents on illegal tasks grounded in public US court cases. ANCHOR deploys an auditor agent fine-tuned on dark personality data using supervised and reinforcement fine tuning. This auditor roleplays persistent malicious users who decompose tasks, reframe requests upon refusal, and adapt strategies across multi-turn interactions. Evaluating frontier CLI agents, we find that while they often refuse illegal tasks when prompted directly, compliance reaches 100\% under persistent malicious interaction. When agents comply, they frequently exceed user requests, autonomously building infrastructure for large-scale harm, including catastrophic risk scenarios such as large-scale financial fraud and bioweapon development. These findings demonstrate that current alignment techniques are insufficient for autonomous agents and underscore the need for safety evaluations against persistent, adaptive malicious users. We release ANCHOR at https://github.com/garified/anchor
- Abstract（参考訳）: コードの記述、シェルコマンドの実行、Webブラウジング、クラウドインフラストラクチャの管理などだ。
より大きな自律性はより大きなリスクを招きますか?
本稿では,米国公判における不正行為に対して,CLIエージェントをストレステストする自動監査フレームワークANCHORを紹介する。
ANCHORは、教師付きおよび強化された微調整を使用して、暗黒人格データに基づいて微調整された監査エージェントをデプロイする。
この監査役は、タスクを分解し、拒否された要求をリフレームし、マルチターンインタラクションにまたがる戦略を適用する、永続的な悪意のあるユーザをロールプレイする。
フェデラルなCLIエージェントを評価すると、直接的にプロンプトされた時に不正なタスクを拒否することが多いが、永続的な悪意のあるインタラクションの下でコンプライアンスは100\%に達する。
エージェントが従う場合、彼らはしばしばユーザーからの要求を超過し、大規模な金融詐欺やバイオウェポン開発のような破滅的なリスクシナリオを含む大規模な損害に対するインフラを自律的に構築する。
これらの結果は、現在のアライメント技術が自律エージェントには不十分であることを示し、永続的で適応的な悪意のあるユーザに対する安全性評価の必要性を浮き彫りにしている。
https://github.com/garified/anchorでANCHORをリリースします。
関連論文リスト
- SecRespond: Benchmarking AI Agents for Real-World Post-Compromise Incident Response [38.89333299127352]
我々は、インシデント-レスポンス後のワークフローにおいて、LLM(Large Language Model)エージェントを評価するための最初のベンチマークであるSecRespondを紹介する。
私たちはこのタスクを10のサイバー範囲でインスタンス化します。
実験の結果, 現行のエージェントは警報が発する問題を確実に発見できるが, サイレント侵入の円盤を積極的に調査することは困難であることがわかった。
論文 参考訳（メタデータ） (2026-07-29T11:32:23Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - GitInject: Real-World Prompt Injection Attacks in AI-Powered CI/CD Pipelines [22.29523291822444]
GitInjectは、実際のGitHubでインジェクションのプロンプト脆弱性を評価するためのオープンソースのフレームワークです。
4つのAIプロバイダにわたるワークフロー構成を研究し、設定ファイルインジェクション、クレデンシャル・エクスプロイト、判断操作、可用性にまたがる11の命名された攻撃を文書化する。
テスト対象のプロバイダはすべて、デフォルト設定で少なくとも1つのアタッククラスに影響を受けており、最も重要な脆弱性は構造的であることに気付きました。
論文 参考訳（メタデータ） (2026-06-07T19:17:18Z) - ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use [40.024131729499494]
エージェントは,動作がタスク完了に有効である場合に,安全でない動作をとることによって,良質な設定でも不整合性を示すことができることを示す。
我々は、この障害モードを、人の修正、中断、シャットダウンに対処可能な安全装置である矯正レンズを通して研究する。
我々の研究は、自律エージェントにおける原理的、調整性を重視したアライメント手法の批判的な必要性を強調している。
論文 参考訳（メタデータ） (2026-05-29T20:29:35Z) - Stateful Online Monitoring Catches Distributed Agent Attacks [63.00394432922707]
我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。
本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
論文 参考訳（メタデータ） (2026-05-29T17:57:00Z) - AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions [78.49000936275773]
我々は、一般的な汚職下でのコンピュータ利用エージェントの堅牢性を評価するために設計されたベンチマークであるAgentHijackを紹介する。
MLLMをベースとした各種デスクトップタスクを評価し, 汚職の小さな事例であっても, 大幅な性能劣化が生じることを確認した。
本稿では,動作の要約と環境チェックに責任を負う見物人として,アクションジェネレータと接地機能を統合したフレームワークであるAgent Hijack-Agentを提案する。
論文 参考訳（メタデータ） (2026-05-25T11:09:22Z) - DecodingTrust-Agent Platform (DTap): A Controllable and Interactive Red-Teaming Platform for AI Agents [121.77550256034]
DecodingTrust-Agent Platform (DTap)は、AIエージェントのためのコントロール可能でインタラクティブなレッドチームプラットフォームである。
DTap-Redは、多様なインジェクションベクターを探索し、効果的な攻撃戦略を自律的に発見する、最初の自律的赤チームエージェントである。
DTapを通じて、さまざまなバックボーンモデル上に構築された一般的なAIエージェントの大規模評価を行う。
論文 参考訳（メタデータ） (2026-05-06T11:59:48Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - AgentWall: A Runtime Safety Layer for Local AI Agents [0.0]
AgentWallは、ローカルAIエージェントのランタイム安全性と可観測性レイヤである。
ホスト環境に到達する前に提案されたすべてのエージェントアクションをインターセプトし、明示的な宣言的なポリシーで評価し、機密性の高い操作に対して人間の承認を必要とし、監査と再生のための完全な実行パスを記録します。
本稿では,AgentWallの設計,アーキテクチャ,脅威モデル,およびポリシーモデルについて述べる。
論文 参考訳（メタデータ） (2026-03-24T11:39:35Z) - OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳（メタデータ） (2026-02-13T21:32:32Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳（メタデータ） (2025-07-28T05:13:04Z) - LlamaFirewall: An open source guardrail system for building secure AI agents [0.5603362829699733]
大規模言語モデル(LLM)は、単純なチャットボットから複雑なタスクを実行できる自律エージェントへと進化してきた。
リスクを軽減するための決定論的解決策が欠如していることを考えると、リアルタイムガードレールモニターが不可欠である。
私たちはオープンソースのセキュリティにフォーカスしたガードレールフレームワークであるLlamaFirewallを紹介します。
論文 参考訳（メタデータ） (2025-05-06T14:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。