論文の概要: Agents of Chaos
- arxiv url: http://arxiv.org/abs/2602.20021v1
- Date: Mon, 23 Feb 2026 16:28:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.904254
- Title: Agents of Chaos
- Title（参考訳）: カオスのエージェント
- Abstract要約: 実験室環境に展開する自律言語モデルを用いたエージェントの探索的再チームの研究を報告する。
20人のAI研究者が、良心的および敵対的な条件下でエージェントと対話した。
我々の発見は、現実的なデプロイメント設定におけるセキュリティ、プライバシ、ガバナンスに関連する脆弱性の存在を確立します。
- 参考スコア（独自算出の注目度）: 50.53354213047402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We report an exploratory red-teaming study of autonomous language-model-powered agents deployed in a live laboratory environment with persistent memory, email accounts, Discord access, file systems, and shell execution. Over a two-week period, twenty AI researchers interacted with the agents under benign and adversarial conditions. Focusing on failures emerging from the integration of language models with autonomy, tool use, and multi-party communication, we document eleven representative case studies. Observed behaviors include unauthorized compliance with non-owners, disclosure of sensitive information, execution of destructive system-level actions, denial-of-service conditions, uncontrolled resource consumption, identity spoofing vulnerabilities, cross-agent propagation of unsafe practices, and partial system takeover. In several cases, agents reported task completion while the underlying system state contradicted those reports. We also report on some of the failed attempts. Our findings establish the existence of security-, privacy-, and governance-relevant vulnerabilities in realistic deployment settings. These behaviors raise unresolved questions regarding accountability, delegated authority, and responsibility for downstream harms, and warrant urgent attention from legal scholars, policymakers, and researchers across disciplines. This report serves as an initial empirical contribution to that broader conversation.
- Abstract（参考訳）: 本稿では, 永続記憶, メールアカウント, Discord アクセス, ファイルシステム, シェル実行を含む, 実環境に展開する自律型言語モデルエージェントの探索的再チーム化研究について報告する。
2週間にわたって、20人のAI研究者が良心的かつ敵対的な条件下でエージェントと対話した。
言語モデルと自律性、ツール使用、マルチパーティコミュニケーションの統合から生じる障害に注目して、11の代表的なケーススタディを文書化する。
監視された行動には、非所有者との不正なコンプライアンス、機密情報の開示、破壊的なシステムレベルのアクションの実行、サービス停止条件、制御不能なリソース消費、アイデンティティスプーリング脆弱性、安全でないプラクティスのクロスエージェント伝搬、部分的なシステム乗っ取りが含まれる。
いくつかのケースでは、エージェントはタスク完了を報告し、基盤となるシステム状態はこれらのレポートに矛盾した。
また、失敗した試みについても報告する。
我々の発見は、現実的なデプロイメント設定におけるセキュリティ、プライバシ、ガバナンスに関連する脆弱性の存在を確立します。
これらの行動は、説明責任、委任された権威、下流の危害に対する責任に関する未解決の疑問を提起し、法学者、政策立案者、研究者から分野にわたって緊急の注意を喚起する。
このレポートは、その広範な会話に対する最初の実証的な貢献である。
関連論文リスト
- From Language Models to World-Acting Systems: Progress and Limits of Agentic AI across Digital, Social, Virtual, and Physical Environments [0.0]
このレビューは2026年8月31日までに利用可能な主要な研究と公式な技術仕様を合成する。
我々は、モデル、ハーネス、環境を分離しながら、委任された権限、時間的持続性、環境結合に沿った証拠を整理する。
このフレーミングは、モデルハーネスの評価、能力に基づくパーミッション、耐久性のある状態、クロスエージェントのアカウンタビリティ、ステージ化された物理的なバリデーションに関する研究課題をもたらす。
論文 参考訳（メタデータ） (2026-09-04T08:52:28Z) - A Case Study on Emergent Cheating and Whistleblowing in Autonomous Research Swarms [43.001400055258586]
マルチエージェントAIサイエンスエコシステムは、互いに作業のコミュニケーション、コーディネート、構築を可能にするツールを持つエージェントに依存している。
本稿では,100個の自律LDMエージェントによる公式な数学的推測の証明を事例として報告する。
群れの中では、自発的に浮気が出現し、その後、内部の介入なしに、内部告発者によって挑発された。
我々は,自律群集における分散型自己統治を支援するために,段階的制裁や集団選択規則などの制度的メカニズムを採用することを提案する。
論文 参考訳（メタデータ） (2026-09-03T17:54:09Z) - Operational Hallucination and Safety Drift in AI Agents [0.3823356975862005]
ツール使用自律エージェントのプランナーとして機能する大規模言語モデル(LLM)は、マルチターン実行における動的信頼性のリスクを導入する。
本稿では,複数のLLM(Safety Drift)とOperational Hallucination(Operational Hallucination)の2つの障害モードを実証的に特徴付ける。
本稿では、インテント-アクション整合性チェック、状態追跡、強制終了プリミティブを組み込んだ、軽量でプラグ&プレイのアーキテクチャ青写真であるAction-Aware Supervision Layerを提案する。
論文 参考訳（メタデータ） (2026-07-20T17:01:50Z) - Ambient Persuasion in a Deployed AI Agent: Unauthorized Escalation Following Routine Non-Adversarial Content Exposure [0.0]
我々は,プライマリAIエージェントが107個の未許可ソフトウェアコンポーネントをインストールしたマルチエージェント研究システムにおいて,安全事故を報告した。
本研究は, 動作カスケード, 故障した制御境界, 損傷の検出・更新におけるマルチエージェント監視の限界を解析する。
論文 参考訳（メタデータ） (2026-04-29T21:18:55Z) - "What Did It Actually Do?": Understanding Risk Awareness and Traceability for Computer-Use Agents [14.372676317868013]
私たちはOpenClawエコシステムのコーパスを構築しており、インシデント、アドバイザリ、悪意のあるスキルレポート、ニュースカバレッジ、チュートリアル、ソーシャルメディアの物語などが含まれています。
我々は,ユーザと実践者がいかにスキル,自律性,特権,永続性,アンインストールを理解しているかを調べるために,インタビュースタディを実施している。
我々は、エージェントアクション、タッチされたリソース、パーミッション履歴、証明、永続的な副作用を可視化するためのトレーサビリティフレームワークおよびプロトタイプインターフェースであるAgentTraceを提案する。
論文 参考訳（メタデータ） (2026-03-30T15:12:55Z) - OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳（メタデータ） (2026-02-13T21:32:32Z) - Aegis: Towards Governance, Integrity, and Security of AI Voice Agents [52.7512082818639]
音声エージェントのガバナンス,整合性,セキュリティのためのフレームワークであるAegisを提案する。
我々は,銀行コールセンタ,ITサポート,ロジスティクスにおけるケーススタディを通じて,この枠組みを評価する。
モデルファミリ間の系統的な差異を観察し,より感受性の高いオープンウェイトモデルを示した。
論文 参考訳（メタデータ） (2026-02-07T05:51:36Z) - The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。
本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。
標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
論文 参考訳（メタデータ） (2026-01-21T15:22:21Z) - Are Your Agents Upward Deceivers? [73.1073084327614]
大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。
これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。
本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
論文 参考訳（メタデータ） (2025-12-04T14:47:05Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳（メタデータ） (2025-07-28T05:13:04Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z) - Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
本稿では,アクション予測中にエージェントを監視し,将来エラーが発生する可能性がある場合に介入することを提案する。
WhoDunitEnv、コード生成タスク、そしてリソース持続可能性のためのGovSim環境の実験は、我々のアプローチがパフォーマンスを大幅に向上させることを示している。
論文 参考訳（メタデータ） (2025-02-09T18:35:08Z) - Enhancing Trust in Autonomous Agents: An Architecture for Accountability and Explainability through Blockchain and Large Language Models [0.3495246564946556]
この研究は、ROSベースの移動ロボットに実装された説明可能性と説明可能性のアーキテクチャを示す。
提案されたソリューションは2つの主要コンポーネントで構成されている。まず、説明責任を提供するブラックボックスのような要素で、ブロックチェーン技術によって達成されるアンチタンパ特性を特徴とする。
第二に、前述のブラックボックスに含まれるデータに対して、Large Language Models(LLM)の機能を利用することで、自然言語の説明を生成するコンポーネントである。
論文 参考訳（メタデータ） (2024-03-14T16:57:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。