論文の概要: False Prophets: On the Security of World Models in Agentic Systems

• arxiv url: http://arxiv.org/abs/2607.23147v1
• Date: Sat, 25 Jul 2026 10:55:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.003422
• Title: False Prophets: On the Security of World Models in Agentic Systems
• Title（参考訳）: 偽預言者:エージェントシステムにおける世界モデルのセキュリティについて
• Abstract要約: 大規模言語モデルでは、さまざまな環境で複雑なマルチステップタスクが可能な自律エージェントが利用できるようになった。 近年の研究では、特別に訓練された環境シミュレーター-ワールドモデルによる予測能力の向上が提案されている。 世界モデルはパフォーマンスを向上させることができるが、有害なアクションの実行にエージェントを誤解させ、重大なセキュリティとプライバシのリスクを発生させることもできる。
• 参考スコア（独自算出の注目度）: 4.931984026341269
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models now power autonomous agents capable of complex, multi-step tasks in different environments. Accurate and reliable execution of these tasks requires the agent to predict the results of its actions. Recent research proposes to enhance predictive capabilities via specially trained environment simulators-world models. While world models can improve performance, they can also mislead agents into executing harmful actions, creating significant security and privacy risks. In this paper, we raise security concerns regarding the usage of world models in agentic systems. We discover a range of world model specific vulnerabilities, which can be exploited in terminal-based agents to execute malicious code or extract sensitive data. To facilitate future development, we introduce a security benchmark dataset designed for text-based world models. We argue that some risks are intrinsic to approximate world modeling, and show that attackers can induce mispredictions in agentic pipelines with up to 95% success rate, possibly resulting in unintended command execution, denial of service, drainage of wallet and private information extraction. Finally, we provide practical recommendations for practitioners to mitigate the discovered harms and harden agentic systems.
• Abstract（参考訳）: 大規模言語モデルでは、さまざまな環境で複雑なマルチステップタスクが可能な自律エージェントが利用できるようになった。 これらのタスクの正確かつ信頼性の高い実行には、エージェントがアクションの結果を予測する必要がある。 近年の研究では、特別に訓練された環境シミュレーター-ワールドモデルによる予測能力の向上が提案されている。 世界モデルはパフォーマンスを向上させることができるが、有害なアクションの実行にエージェントを誤解させ、重大なセキュリティとプライバシのリスクを発生させることもできる。 本稿では,エージェントシステムにおける世界モデルの利用に関するセキュリティ上の懸念を提起する。 端末ベースのエージェントで悪質なコードを実行したり、機密データを抽出したりできる。 今後の開発を容易にするために,テキストベースの世界モデル用に設計されたセキュリティベンチマークデータセットを導入する。 我々は,攻撃者が最大95%の成功率でエージェントパイプラインの誤予測を誘発し,意図しない命令実行,サービス拒否,ウォレットの排水,私的情報抽出などのリスクが生じることを示した。 最後に,発見した害を軽減し,エージェントシステムを強化するための実践者に対して,実践的な勧告を行う。

関連論文リスト

• DecodingTrust-Agent Platform (DTap): A Controllable and Interactive Red-Teaming Platform for AI Agents [121.77550256034]
  DecodingTrust-Agent Platform (DTap)は、AIエージェントのためのコントロール可能でインタラクティブなレッドチームプラットフォームである。 DTap-Redは、多様なインジェクションベクターを探索し、効果的な攻撃戦略を自律的に発見する、最初の自律的赤チームエージェントである。 DTapを通じて、さまざまなバックボーンモデル上に構築された一般的なAIエージェントの大規模評価を行う。
  論文  参考訳（メタデータ） (2026-05-06T11:59:48Z)
• Safety, Security, and Cognitive Risks in World Models [0.0]
  世界モデルは環境力学の内部シミュレーターを学習する。 世界モデルは、ロボット工学、自動運転車、エージェントAIにおいて、自律的な意思決定の基礎となってきています。 本稿では,世界モデル景観を調査し,軌跡の持続性と表現的リスクの形式的定義を紹介する。 本稿では,GRUベースのRSSMに対するトラジェクティブ・パーシスタント・アタックを実証する実証的概念証明を提案する。
  論文  参考訳（メタデータ） (2026-04-01T19:57:33Z)
• OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
  オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。 本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
  論文  参考訳（メタデータ） (2026-02-13T21:32:32Z)
• Current Agents Fail to Leverage World Model as Tool for Foresight [61.82522354207919]
  エージェントは、行動する前に結果を予測するためにそれらを使用できます。 本稿では,現在のエージェントがそのような世界モデルを,認知力を高めるツールとして活用できるかどうかを実証的に検討する。
  論文  参考訳（メタデータ） (2026-01-07T13:15:23Z)
• General agents contain world models [26.564395060086508]
  多段階の目標指向タスクに一般化できるエージェントは、その環境の予測モデルを学んだに違いない。 このモデルはエージェントの方針から抽出でき、エージェントのパフォーマンスや目標の複雑さを増大させるには、より正確な世界モデルを学ぶ必要がある。
  論文  参考訳（メタデータ） (2025-06-02T13:01:13Z)
• SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator [77.86600052899156]
  LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。 完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。 AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-23T10:56:06Z)
• AI in a vat: Fundamental limits of efficient world modelling for agent sandboxing and interpretability [84.52205243353761]
  最近の研究は、世界モデルを使用して、AIエージェントをデプロイ前にテストできる制御された仮想環境を生成することを提案する。 評価対象のAIエージェントに非依存な世界モデルを簡単にする方法を検討する。
  論文  参考訳（メタデータ） (2025-04-06T20:35:44Z)
• Safety at Scale: A Comprehensive Survey of Large Model and Agent Safety [296.5392512998251]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• Breaking Agents: Compromising Autonomous LLM Agents Through Malfunction Amplification [35.16099878559559]
  大規模言語モデル(LLM)は大きな発展を遂げ、現実世界のアプリケーションにデプロイされている。 エージェントが繰り返しまたは無関係なアクションを実行することを誤解させることで誤動作を引き起こす新しいタイプの攻撃を導入する。 実験の結果、これらの攻撃は複数のシナリオで80%以上の障害率を誘導できることがわかった。
  論文  参考訳（メタデータ） (2024-07-30T14:35:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。