論文の概要: AgenTRIM: Tool Risk Mitigation for Agentic AI

• arxiv url: http://arxiv.org/abs/2601.12449v1
• Date: Sun, 18 Jan 2026 15:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.637497
• Title: AgenTRIM: Tool Risk Mitigation for Agentic AI
• Title（参考訳）: AgenTRIM:エージェントAIのためのツールリスク軽減
• Authors: Roy Betser, Shamik Bose, Amit Giloni, Chiara Picardi, Sindhu Padakandla, Roman Vainshtein,
• Abstract要約: ツール駆動型エージェントリスクの検出と緩和のためのフレームワークであるAgenTRIMを紹介する。 AgenTRIMは、これらのリスクに相補的なオフラインおよびオンラインフェーズを通じて対処する。 AgenTRIMは、高いタスク性能を維持しながら、攻撃成功を大幅に削減する。
• 参考スコア（独自算出の注目度）: 5.4672006013914975
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: AI agents are autonomous systems that combine LLMs with external tools to solve complex tasks. While such tools extend capability, improper tool permissions introduce security risks such as indirect prompt injection and tool misuse. We characterize these failures as unbalanced tool-driven agency. Agents may retain unnecessary permissions (excessive agency) or fail to invoke required tools (insufficient agency), amplifying the attack surface and reducing performance. We introduce AgenTRIM, a framework for detecting and mitigating tool-driven agency risks without altering an agent's internal reasoning. AgenTRIM addresses these risks through complementary offline and online phases. Offline, AgenTRIM reconstructs and verifies the agent's tool interface from code and execution traces. At runtime, it enforces per-step least-privilege tool access through adaptive filtering and status-aware validation of tool calls. Evaluating on the AgentDojo benchmark, AgenTRIM substantially reduces attack success while maintaining high task performance. Additional experiments show robustness to description-based attacks and effective enforcement of explicit safety policies. Together, these results demonstrate that AgenTRIM provides a practical, capability-preserving approach to safer tool use in LLM-based agents.
• Abstract（参考訳）: AIエージェントは、複雑なタスクを解決するためにLLMと外部ツールを組み合わせた自律システムである。 このようなツールは機能を拡張するが、不適切なツールパーミッションは間接的なプロンプトインジェクションやツール誤用のようなセキュリティリスクを導入する。 これらの失敗をツール駆動の非バランスエージェンシーとして特徴づける。 エージェントは不要な許可(過剰な機関)を維持したり、必要なツール(不十分な機関)を呼び出しなかったり、攻撃面を増幅し、性能を低下させたりすることができる。 本稿では,エージェントの内部推論を変更することなく,ツール駆動型エージェントのリスクを検出し緩和するためのフレームワークであるAgenTRIMを紹介する。 AgenTRIMは、これらのリスクに相補的なオフラインおよびオンラインフェーズを通じて対処する。 オフラインでは、AgenTRIMはコードと実行トレースからエージェントのツールインターフェースを再構築し、検証する。 実行時に、適応的なフィルタリングとツール呼び出しのステータスアウェアバリデーションを通じて、ステップごとの最小限のツールアクセスを強制する。 AgentDojoベンチマークを評価することで、AgenTRIMは高いタスクパフォーマンスを維持しながら、攻撃の成功を大幅に削減する。 追加の実験では、説明に基づく攻撃に対する堅牢性と、明示的な安全ポリシーの効果的な実施が示されている。 これらの結果から, AgenTRIMは, LLMをベースとしたエージェントにおいて, より安全なツール使用を実現するための実用的, 能力保全的アプローチを提供することが示された。

関連論文リスト

• ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback [53.2744585868162]
  エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。 LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。 次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
  論文  参考訳（メタデータ） (2026-01-15T07:54:32Z)
• Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
  大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。 LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。 モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
  論文  参考訳（メタデータ） (2026-01-12T21:31:38Z)
• ASTRA: Agentic Steerability and Risk Assessment Framework [3.9756746779772834]
  大規模言語モデル(LLM)を活用したAIエージェントのセキュア化は、今日のAIセキュリティにおける最も重要な課題の1つだ。 ASTRA は LLM の有効性を評価するための第一種フレームワークである。
  論文  参考訳（メタデータ） (2025-11-22T16:32:29Z)
• IPIGuard: A Novel Tool Dependency Graph-Based Defense Against Indirect Prompt Injection in LLM Agents [33.775221377823925]
  大規模言語モデル(LLM)エージェントは現実世界のアプリケーションに広くデプロイされており、複雑なタスクのために外部データを検索し操作するためのツールを活用している。 信頼できないデータソースと対話する場合、ツールレスポンスには、エージェントの動作に秘密裏に影響を与え、悪意のある結果をもたらすインジェクションが含まれている可能性がある。 我々はIPIGuardと呼ばれる新しい防御タスク実行パラダイムを提案し、ソースにおける悪意あるツール呼び出しを防止する。
  論文  参考訳（メタデータ） (2025-08-21T07:08:16Z)
• Attractive Metadata Attack: Inducing LLM Agents to Invoke Malicious Tools [10.086284534400658]
  大規模言語モデル(LLM)エージェントは、外部ツールを活用することで複雑な推論と意思決定において顕著な能力を示した。 我々はこれを、悪意のあるツールをLLMエージェントによって優先的に選択できる、新しくてステルスな脅威サーフェスとして認識する。 我々は,非常に魅力的だが構文的かつ意味論的に有効なツールメタデータを生成するブラックボックス・イン・コンテキスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-04T06:38:59Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• Progent: Programmable Privilege Control for LLM Agents [46.31581986508561]
  本稿では,大規模言語モデルエージェントをセキュアにするための最初の特権制御フレームワークであるProgentを紹介する。 Progentは、潜在的に悪意のあるものをブロックしながら、ユーザタスクに必要なツールコールの実行をエージェントに制限することで、ツールレベルでのセキュリティを強化する。 モジュール設計のおかげで、Progentの統合はエージェント内部を変更せず、既存のエージェントの実装に最小限の変更しか必要としません。
  論文  参考訳（メタデータ） (2025-04-16T01:58:40Z)
• AgentGuard: Repurposing Agentic Orchestrator for Safety Evaluation of Tool Orchestration [0.3222802562733787]
  AgentGuardは、安全でないツールの使用を自律的に発見し、検証するフレームワークである。 エージェントの動作を限定する安全制約を生成し、安全保証の基準を達成する。 フレームワークは、安全でないことを識別し、実際の実行でそれらを検証し、安全性の制約を生成し、制約の有効性を検証する。
  論文  参考訳（メタデータ） (2025-02-13T23:00:33Z)
• Identifying the Risks of LM Agents with an LM-Emulated Sandbox [68.26587052548287]
  言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。 これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。 ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
  論文  参考訳（メタデータ） (2023-09-25T17:08:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。