Fugu-MT 論文翻訳(概要): MENTOR: Procedural Shielding of Tool-Using LLM Agents

論文の概要: MENTOR: Procedural Shielding of Tool-Using LLM Agents

arxiv url: http://arxiv.org/abs/2610.17039v1
Date: Mon, 12 Oct 2026 16:13:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-18 03:37:21.255038
Title: MENTOR: Procedural Shielding of Tool-Using LLM Agents
Title（参考訳）: mentor: ツールを用いたLDMエージェントの手続き的遮蔽
Abstract要約: ツールを使用するLLMエージェントは、手続きマニュアルによって管理される自動化にますます使用される。 MENTORは、エージェントがそのタスクに対して手続きに準拠する進捗を行うためのガイダンスを提供する。
参考スコア（独自算出の注目度）: 0.815557531820863
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Tool-using LLM agents are increasingly used to automate workflows governed by procedural manuals, such as company rules for booking travel or procuring hardware. These manuals are written in natural language for humans and describe general requirements over such complex workflows. Ensuring compliance of LLM agents with these manuals is difficult, and state-of-the-art techniques use either LLM judges or manually written rules to forbid problematic tool-calls locally at runtime. This is insufficient because (i) only blocking tool calls keeps the agent clueless about how to make correct progress towards fulfilling its task, and (ii) can lead to overly conservative behavior of the agent, as tool calls might only be problematic in certain contexts. To overcome these challenges, we introduce MENTOR, which (i) additionally provides guidance for the agent to make procedural-compliant progress on the task, and (ii) ensures that this compliance is context-aware. We achieve these goals by building a novel history-dependent runtime shield that is obtained from the procedural manual via a multi-step autoformalization pipeline. At its core, MENTOR utilizes a game-based technique to ensure robustness against runtime uncertainty without over-resticting agents' behavior. This yields a formally assisted framework for procedural shielding of LLM agents that improves compliance well beyond existing methods. In particular, MENTOR lifts the compliance of shielded light-weight open-source LLMs above that of non-shielded proprietary models. Since a shield is synthesized once per manual and then serves every task, a MENTOR-shielded agent becomes a viable choice for repeatedly executed workflows, potentially reducing deployment costs when the offline construction cost is amortized over repeated tasks.
Abstract（参考訳）: ツールを使用するLLMエージェントは、旅行の予約やハードウェアの調達に関する会社の規則など、手続きマニュアルによって管理されるワークフローを自動化するために、ますます使用されている。これらのマニュアルは人間の自然言語で書かれており、そのような複雑なワークフローに対する一般的な要求を記述する。これらのマニュアルによるLLMエージェントのコンプライアンスの確保は困難であり、最先端技術では、実行時に問題のあるツールコールをローカルで禁止するために、LLMジャッジまたは手書きのルールを使用する。これは不十分です (i) ツールコールのみをブロックすることで、エージェントがタスクの完了に向けて正しい進捗をする方法を意識せずに保持し、ツールコールは特定のコンテキストでのみ問題となる可能性があるため、(ii)エージェントの過度に保守的な動作につながる可能性がある。これらの課題を克服するために、mentORを紹介します。一業務の手続に従順な進捗を行うための代理人の指導をすること。 (ii)このコンプライアンスがコンテキストアウェアであることを保証する。複数ステップの自動形式化パイプラインを介して手続きマニュアルから得られる,履歴に依存した新たなランタイムシールドを構築することで,これらの目標を達成する。 MENTORのコアとなるのは,エージェントの動作を過度に抑制することなく,実行時の不確実性に対して堅牢性を確保するためのゲームベースの手法である。これにより、LLMエージェントの手続き的遮蔽のための公式に支援されたフレームワークが得られ、既存のメソッドを超えてコンプライアンスを改善している。特に、MENTOR はシールド付き軽量オープンソース LLM のコンプライアンスを非シールド型プロプライエタリモデルよりも高めている。シールドは手動で1回合成され、すべてのタスクを処理するため、MENTORシールドエージェントは繰り返し実行されるワークフローにおいて実行可能な選択となり、オフライン構築コストが繰り返しタスクに対して償却される場合、デプロイメントコストを削減できる可能性がある。

関連論文リスト

Symbolic Temporal Supervision of LLM Agents Using Contracts [1.7188280334580195]
本稿では,大規模言語モデル(LLM)エージェントのシンボリック時間監視のための契約ベースのフレームワークであるContrAgentを紹介する。 ContrAgentは、エージェントの振舞いを一連のツールコールとして捉え、それを固定されたチェック可能な述語セット上のトレースとしてフォーマル化する。その後、有限トレース上の線形時間論理における仮定保証契約(sum-guarantee contract)を用いて必要な振る舞いを特定する。
論文参考訳（メタデータ） (2026-09-16T05:05:35Z)
Securing LLM Agents Need Intent-to-Execution Integrity [49.490963596514185]
我々は, LLMエージェントの確保には, エージェントの実行がユーザの意図を忠実に反映した場合に規定するエンドツーエンドの正当性を定義する必要があると主張している。 LLMエージェントはコンパイラと構造的に類似しており、セキュリティ違反はユーザ意図を保存しない誤った実行に対応する。 emphTool整合性、emph命令整合性、emphJudgment整合性、emphData整合性。
論文参考訳（メタデータ） (2026-05-16T12:53:31Z)
MANTRA: Synthesizing SMT-Validated Compliance Benchmarks for Tool-Using LLM Agents [0.815557531820863]
MANTRAは、自然言語マニュアルとツールスキーマからマシンチェック可能なコンプライアンスベンチマークを自動的に合成するフレームワークである。我々は、6つのドメインにまたがる285のタスクを、最小限の人的労力で50ページのマニュアルにスケーリングする新しいベンチマークスイートを構築しました。
論文参考訳（メタデータ） (2026-05-07T14:26:19Z)
ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback [53.2744585868162]
エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。 LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
論文参考訳（メタデータ） (2026-01-15T07:54:32Z)
Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。 LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文参考訳（メタデータ） (2026-01-12T21:31:38Z)
UDora: A Unified Red Teaming Framework against LLM Agents by Dynamically Hijacking Their Own Reasoning [17.448966928905733]
外部ツールを備えた大規模言語モデル(LLM)エージェントは、複雑なタスクに対してますます強力になっている。 UDoraはLDMエージェント用に設計された統一されたレッド・チーム・フレームワークで、エージェントの推論プロセスを動的にハイジャックし、悪意ある振る舞いを強制する。
論文参考訳（メタデータ） (2025-02-28T21:30:28Z)
AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
論文参考訳（メタデータ） (2024-10-11T17:39:22Z)
Formally Specifying the High-Level Behavior of LLM-Based Agents [24.645319505305316]
LLMはタスク固有の微調整モデルを必要とせずに、課題を解決するための有望なツールとして登場した。現在、このようなエージェントの設計と実装はアドホックであり、LLMベースのエージェントが自然に適用できる様々なタスクは、エージェント設計に一律に適合するアプローチが存在しないことを意味する。エージェント構築のプロセスを簡単にする最小主義的生成フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-12T17:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。