論文の概要: PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents

• arxiv url: http://arxiv.org/abs/2610.22124v1
• Date: Thu, 15 Oct 2026 16:01:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.181663
• Title: PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents
• Title（参考訳）: PROBE: LLMエージェントを用いた政策コンプライアンスの学習
• Abstract要約: 本研究では,デプロイされたエージェントを現実的なユーザとして扱うオーディエンスを訓練し,マルチターンツールによる対話を通じてポリシー違反を調査するアルゴリズムを提案する。 エージェント監査を2人プレイのマルコフゲームとして形式化し、違反発見、行動可能性、会話の進行、ポリシーの多様性のバランスをとる複合報酬を提案する。 この結果から,マルチターン行動監査はエージェント評価,補完能力,安全性ベンチマークの明確な軸であり,必要な軸であることがわかった。
• 参考スコア（独自算出の注目度）: 13.754319712391093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern agentic systems extend language models with external tools, enabling them to complete complex tasks through multi-turn interactions. As these agents are deployed in consequential settings, they are often constrained by policies governing pricing, privacy, confirmation, safety, and other requirements. However, existing evaluation methods leave a critical gap: capability benchmarks measure what agents can accomplish, while content-safety red-teaming measures harmful generations, but neither tests whether agents comply with predefined policies during otherwise valid tool use. Such policy violations are difficult to audit because their effects may emerge only after several turns, span multiple tool calls, or surface in downstream systems. We propose PROBE (Policy Rule Observation via Behavioral Exploration), an algorithm for training LLM-based auditors that interact with deployed agents as realistic users and probe them for policy violations through multi-turn, tool-mediated dialogue. We formalize agent auditing as a two-player Markov game and propose a composite reward that balances violation discovery, behavioral plausibility, conversation progress, and policy diversity. To study training objectives and reward design, we compare GRPO, DPO, and GFlowNet-based optimization in a controlled setting. Across extensive experiments, auditors trained with PROBE uncover substantially broader and higher-yield policy violations than same-architecture zero-shot adversaries, even when the auditor is significantly smaller than the target agent. Our results show that multi-turn behavioral auditing is a distinct and necessary axis of agent evaluation, complementing capability and safety benchmarks. PROBE offers a scalable path toward automated policy auditing for real-world agentic systems and suggests a co-evolutionary loop in which auditors expose failures and agents improve from auditor feedback.
• Abstract（参考訳）: 現代のエージェントシステムは言語モデルを外部ツールで拡張し、マルチターンインタラクションによって複雑なタスクを完了させる。 これらのエージェントは連続的な設定でデプロイされるため、価格、プライバシ、確認、安全性、その他の要件を規定するポリシーによって制約されることが多い。 しかし、既存の評価手法は、重要なギャップを残している: 能力ベンチマークは、どのエージェントが達成できるかを計測し、コンテントセーフのレッドピートは、世代を有害にするが、エージェントが、他の有効なツール使用中に事前に定義されたポリシーに従うかどうかをテストすることはない。 このようなポリシー違反は、何回かのターンの後、複数のツールコールにまたがる、あるいは下流システムで表面的に、その効果が現れる可能性があるため、監査が困難である。 PROBE(Policy Rule Observation via Behavioral Exploration)は、LLMベースの監査員を訓練するアルゴリズムで、現実的なユーザとしてデプロイされたエージェントと対話し、多ターンツールによる対話を通じてポリシー違反を調査する。 エージェント監査を2人プレイのマルコフゲームとして形式化し、違反発見、行動可能性、会話の進行、ポリシーの多様性のバランスをとる複合報酬を提案する。 学習目標と報酬設計について検討するため,GRPO,DPO,GFlowNetに基づく最適化を制御された環境で比較した。 PROBEで訓練された監査人は、ターゲットエージェントよりもはるかに小さい場合でも、同じアーキテクチャのゼロショットの敵よりもはるかに広範囲で高利得のポリシー違反を明らかにする。 この結果から,マルチターン行動監査はエージェント評価,補完能力,安全性ベンチマークの明確な軸であり,必要な軸であることがわかった。 PROBEは、現実世界のエージェントシステムのための自動ポリシー監査へのスケーラブルなパスを提供し、監査人が障害を暴露し、エージェントが監査者のフィードバックから改善する共進化ループを提案する。

関連論文リスト

• CLEAT: Learning Value-Guided Clarification for Interactive Agents [50.63941775694406]
  本研究では,対話型意図アライメントの課題を明確化を通じて検討する。 トレーニングが不完全な情報を扱う方法を変えると、同じ明確化が多かれ少なかれ有用になる。 CLEATは、共有インタラクション結果から明確化値コントローラとタスクポリシーを協調訓練するフレームワークである。
  論文  参考訳（メタデータ） (2026-10-08T19:22:21Z)
• From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
  大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。 最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。 縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。 IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-08-03T12:52:04Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
  我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。 実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
  論文  参考訳（メタデータ） (2026-04-20T13:23:38Z)
• Near-Miss: Latent Policy Failure Detection in Agentic Workflows [9.719140082591956]
  エージェントの会話トレースにおける遅延ポリシー障害を検出するための新しい指標を提案する。 その結果,ツールコールの変異を伴う軌道の8～17%に潜伏障害がみられた。
  論文  参考訳（メタデータ） (2026-03-31T12:26:35Z)
• When to Act, Ask, or Learn: Uncertainty-Aware Policy Steering [10.01278648231868]
  ポリシーステアリングは、デプロイ時にロボットの振る舞いを適用する新しい方法です。 VLM(Vision-Language Models)は、それらの推論能力のために、汎用的な検証を約束する。 セマンティックタスクの不確実性と低レベルのアクション実現可能性について共同で理由づけるフレームワークである不確実性対応型ポリシーステアリング(UPS)を提案する。
  論文  参考訳（メタデータ） (2026-02-25T23:23:22Z)
• ORCHID: Orchestrated Retrieval-Augmented Classification with Human-in-the-Loop Intelligent Decision-Making for High-Risk Property [6.643427585499247]
  ORCHIDは、HRP分類のためのモジュール型エージェントシステムである。 検索強化世代(RAG)を人間の監視と組み合わせて、監査可能なポリシベースのアウトプットを生成する。 デモでは、単一項目の提出、接地された引用、中小企業のフィードバックキャプチャ、エクスポート可能な監査アーティファクトなどが紹介されている。
  論文  参考訳（メタデータ） (2025-11-07T03:48:05Z)
• How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on $τ$-bench [58.114899897566964]
  マルチターンの会話環境では、大きな言語モデル(LLM)は、一貫性のある推論とドメイン固有のポリシーへの固執にしばしば苦労する。 本稿では,関連するドメインルールを付加したユーザクエリを自動的に再構成するIRMA(Input-Reformulation Multi-Agent)フレームワークを提案する。 IRMAはReAct、Function Calling、Self-Reflectionをそれぞれ16.1%、12.7%、19.1%で大きく上回っている。
  論文  参考訳（メタデータ） (2025-08-28T15:57:33Z)
• Automating Security Audit Using Large Language Model based Agent: An Exploration Experiment [7.039114328812774]
  セキュリティ監査は、ポリシーが成立し、コントロールが実施され、サイバーセキュリティのリスク軽減のためにギャップが特定されることを保証することで、強力なセキュリティ姿勢を維持するのに役立つ。 本稿では,大規模言語モデル(LLM)を自律エージェントとして活用し,セキュリティ監査の一部を実行するフレームワークの開発の可能性を検討する。
  論文  参考訳（メタデータ） (2025-05-15T22:22:52Z)
• TrustFed: A Reliable Federated Learning Framework with Malicious-Attack Resistance [8.924352407824566]
  フェデレートラーニング(FL)は、個々のデータのプライバシを確保しながら、複数のクライアント間で協調的な学習を可能にする。 本稿では,階層型監査に基づくFL(HiAudit-FL)フレームワークを提案する。 シミュレーションの結果、HiAudit-FLは、システムオーバーヘッドを小さくして、潜在的悪意のあるユーザを効果的に識別し、対処できることが示されている。
  論文  参考訳（メタデータ） (2023-12-06T13:56:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。