論文の概要: Reframing LLM Agent Security as an Agent-Human Interaction Problem

• arxiv url: http://arxiv.org/abs/2605.24309v1
• Date: Sat, 23 May 2026 00:36:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.864753
• Title: Reframing LLM Agent Security as an Agent-Human Interaction Problem
• Title（参考訳）: エージェント・ヒューマンインタラクション問題としてのLLMエージェントセキュリティ
• Authors: Peiran Wang, Ying Li, Yuan Tian,
• Abstract要約: 我々はエージェント・セキュリティは基本的にエージェント・ヒューマン・インタラクション(AHI)の問題であり、純粋にアルゴリズム的な問題ではないと主張している。 2026年4月現在、59の学術論文、21の生産エージェントシステム、26のセキュリティプラグインを体系的に分析している。 広く展開されている3つの人間中心のセキュリティメカニズムが業界プラクティスを支配しています。
• 参考スコア（独自算出の注目度）: 11.867868278947524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We argue that LLM agent security is fundamentally an agent-human interaction (AHI) problem, not a purely algorithmic one. To substantiate this position, we conduct a systematic analysis of 59 academic papers, 21 production agent systems, and 26 security plugins as of April 2026. Our analysis reveals a striking pattern: the three widely deployed human-centric security mechanisms (policy specification, runtime approval, and scope configuration) dominate industry practice, each adopted by at least 14 of 21 systems (14, 15, and 16, respectively), while the categories most heavily studied in academia (intent anchoring and trust labeling) see zero production deployment. Yet current human participation mechanisms are far from satisfactory: they suffer from a fundamental trade-off between cognitive burden and security guarantees, leaving users caught between approval fatigue and uncontrolled agent autonomy. We make three contributions. First, through a systematic comparison of LLM-based and human-based intent alignment, we argue that human participation in agent security decisions is indispensable given current capabilities. Second, we quantify a pronounced industry-academia mismatch: the security mechanisms that practitioners actually deploy receive scant research attention, while the approaches that researchers favor remain undeployed. Third, we propose a three-direction research agenda and call for AHI security to be recognized as a first-class research citizen, one that demands its own design principles, evaluation methods, and theoretical foundations.
• Abstract（参考訳）: LLMエージェントのセキュリティは基本的にエージェント・ヒューマン・インタラクション(AHI)の問題であり、純粋にアルゴリズム的な問題ではない、と我々は主張する。 2026年4月現在、59の学術論文、21の生産エージェントシステム、26のセキュリティプラグインを体系的に分析している。 広く展開されている3つの人間中心のセキュリティメカニズム(ポリシー仕様、ランタイム承認、スコープ構成)が、それぞれ21のシステム(14、15、16)のうち少なくとも14のシステムで採用されている。 認知的負担とセキュリティ保証の根本的なトレードオフに悩まされ、ユーザーは承認疲労と制御不能なエージェントの自律性に悩まされる。 私たちは3つの貢献をします。 まず、LLMと人間による意図的アライメントの体系的な比較を通じて、エージェントのセキュリティ決定への人間の関与は、現在の能力を考えると不可欠である、と論じる。 第二に、業界と学界の明確なミスマッチを定量化する:実践者が実際に展開するセキュリティメカニズムは、研究の注目を集める一方で、研究者が好むアプローチは、まだデプロイされていないままである。 第3に,AHIの安全を第一級研究市民として認定し,独自の設計原則,評価方法,理論基盤を求める3つの方向性研究課題を提案する。

関連論文リスト

• SoK: Trust-Authorization Mismatch in LLM Agent Interactions [16.633676842555044]
  大規模言語モデル(LLM)は、外の世界と対話できる自律エージェントへと急速に進化している。 本稿ではエージェント・インタラクション・セキュリティのための統一型フォーマルレンズを提供する。 本稿では,信頼と権限のギャップに着目した新たなリスク分析モデルを提案する。
  論文  参考訳（メタデータ） (2025-12-07T16:41:02Z)
• CIA+TA Risk Assessment for AI Reasoning Vulnerabilities [0.0]
  本稿では,AI推論プロセスのシステム的保護である認知サイバーセキュリティの枠組みについて述べる。 まず、従来のサイバーセキュリティとAIの安全性を補完する規律として、認知サイバーセキュリティを確立します。 第2に、CIA+TAを導入し、従来の機密性、統合性、信頼による可用性を拡張します。 第3に,経験的導出係数を用いた定量的リスク評価手法を提案し,組織が認知的セキュリティリスクを計測できるようにする。
  論文  参考訳（メタデータ） (2025-08-19T13:56:09Z)
• Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
  本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。 我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。 私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
  論文  参考訳（メタデータ） (2025-08-12T09:42:56Z)
• Report on NSF Workshop on Science of Safe AI [75.96202715567088]
  機械学習の新たな進歩は、社会問題に対する技術ベースのソリューションを開発する新たな機会につながっている。 AIの約束を果たすためには、正確でパフォーマンスが高く、安全で信頼性の高いAIベースのシステムを開発する方法に取り組む必要がある。 本報告はワークショップの安全性の異なる側面に対処した作業グループにおける議論の結果である。
  論文  参考訳（メタデータ） (2025-06-24T18:55:29Z)
• LLM Agents Should Employ Security Principles [60.03651084139836]
  本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。 AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T21:39:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。