論文の概要: Agent-ToM: Learning to Monitor Autonomous LLM Agents via Theory-of-Mind Reasoning
- arxiv url: http://arxiv.org/abs/2605.24216v1
- Date: Fri, 22 May 2026 20:57:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:17.751571
- Title: Agent-ToM: Learning to Monitor Autonomous LLM Agents via Theory-of-Mind Reasoning
- Title（参考訳）: Agent-ToM:Mind-of-Mind Reasoningによる自律LDMエージェントのモニタリング学習
- Abstract要約: 不正行為を隠蔽する自律型大規模言語モデル(LLM)エージェントの監視は、遅延、コンテキスト依存、長期攻撃パターンのために困難である。
自律エージェントのセキュリティ分析を前提とした学習監視フレームワークである textbfAgent-ToM を提案する。
- 参考スコア（独自算出の注目度）: 11.914433611519359
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Monitoring autonomous large language model (LLM) agents for covert malicious behavior is challenging due to delayed, context-dependent, and long-horizon attack patterns. Agents may pursue hidden objectives while maintaining superficially benign behavior, making detection difficult even with full trajectory access. Prior monitoring approaches improve scaffolding or ensemble aggregation, but treat each trajectory independently and do not learn from prior monitoring experience. Moreover, standard reasoning methods explain observed behavior without explicitly reasoning about agent beliefs, intentions, and goal alignment required to distinguish benign task execution from covert deviation. We propose \textbf{Agent-ToM}, a learning-to-monitor framework grounded in Theory-of-Mind (ToM) reasoning for security analysis of autonomous agents. Agent-ToM performs structured full-trajectory analysis by inferring beliefs, intent hypotheses with calibrated confidence, expected actions, and deviations from task-consistent behavioral baselines. At inference time, it employs a \textit{Reason-Verify-Refine} pipeline to construct and validate monitoring decisions. At training time, Agent-ToM distills critique signals into a persistent \textit{semantic guardrail memory}, enabling reusable belief- and intent-conditioned constraints across episodes. We evaluate Agent-ToM on adversarial agent monitoring benchmarks (SHADE-Arena and CUA-SHADE-Arena). Agent-ToM achieves strong precision-recall balance and outperforms state-of-the-art monitoring baselines, including ensemble methods, while using a coherent two-call reasoning pipeline. These results demonstrate that learning at the monitoring layer, combined with structured ToM reasoning and verification, provides an effective and deployable foundation for securing autonomous LLM agents.
- Abstract（参考訳）: 不正行為を隠蔽する自律型大規模言語モデル(LLM)エージェントの監視は、遅延、コンテキスト依存、長期攻撃パターンのために困難である。
エージェントは、表面的良性行動を維持しながら隠れた目的を追求し、完全な軌道アクセスであっても検出が困難になる。
以前のモニタリングアプローチは、足場やアンサンブルアグリゲーションを改善するが、それぞれのトラジェクトリを独立して扱い、以前の監視経験から学ばない。
さらに、標準的な推論手法では、エージェントの信念、意図、目的のアライメントを明示的に推論することなく、観察された振る舞いを説明できる。
本稿では,自律エージェントのセキュリティ分析のための理論・オブ・ミンド(ToM)に基づく学習監視フレームワークである‘textbf{Agent-ToM} を提案する。
Agent-ToMは、信念、正当性のある意図仮説、期待された行動、タスク一貫性の行動ベースラインからの逸脱を推論して、構造化された全軌道解析を行う。
推論時に、監視決定を構築し、検証するために、‘textit{Reason-Verify-Refine}パイプラインを使用する。
トレーニング時に、Agent-ToMは批判信号を永続的な \textit{semantic guardrail memory} に蒸留し、エピソード間で再利用可能な信念と意図条件の制約を可能にする。
我々は,敵エージェント監視ベンチマーク(SHADE-Arena と CUA-SHADE-Arena)における Agent-ToM の評価を行った。
Agent-ToMは高い精度のリコールバランスを実現し、コヒーレントな2コール推論パイプラインを使用しながら、アンサンブルメソッドを含む最先端の監視ベースラインを上回っている。
これらの結果は、モニタリング層での学習と構造化されたToM推論と検証を組み合わせることで、自律LLMエージェントの安全性を確保するための効果的でデプロイ可能な基盤を提供することを示した。
関連論文リスト
- SchemeArena: Factorized Stress Testing of Scheming in LLM Agents [15.436206398870986]
計画の主な要因は、機器の目標、環境の余裕、監視条件、そして認識された結果である。
SCHEMEARENAは、スケーラブルなシェーミングストレステストのための400-scenarioベンチマークである。
SCOUTは、エージェントの推論と行動から引き出された証拠を判断するスケジュールモニターである。
論文 参考訳（メタデータ） (2026-09-08T02:02:51Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - Does Out-of-Sight Equal Out-of-Mind in CoT Monitorability? [18.08925355421489]
思考の連鎖(CoT)推論は、大きな言語モデルの意思決定の窓口を提供する。
Latent CoTアプローチは、明示的なトークンを少数の連続状態に置き換え、推論コストを下げるが、この監視が依存する読みやすいトレースを削除する。
本稿では,モデルが入力キューのバイアスを悪用する動作のプロキシであるヒントベースの介入設定を用いて,この問題を考察する。
論文 参考訳（メタデータ） (2026-08-05T14:55:23Z) - TRACE: Trajectory Reasoning through Adaptive Cross-Step Evidence Aggregation for LLM Agents [62.969415789328025]
LLMエージェントは、個々の良性行動のシーケンスを通じて、隠れた悪意のある目的を追求することができる。
既存のアプローチでは、1つのパスで完全な軌跡を評価するか、独立して評価されたウィンドウに分割する。
本研究では,長期LLMエージェントトラジェクトリのモニタリングフレームワークであるTRACEを提案する。
論文 参考訳（メタデータ） (2026-06-05T08:54:38Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。
我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。
フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
論文 参考訳（メタデータ） (2026-03-14T00:12:14Z) - DRAFT: Task Decoupled Latent Reasoning for Agent Safety [59.46137757545185]
DRAFT(Task Decoupled Latent Reasoning for Agent Safety)を提案する。
エクストラクターは、完全な軌跡をコンパクトな連続的な潜伏ドラフトに蒸留し、リゾナーはドラフトと元の軌跡に共同で参加して安全性を予測する。
DRAFTの精度は63.27%(LoRA)から91.18%に向上した。
論文 参考訳（メタデータ） (2026-02-11T07:45:14Z) - AgentTrace: A Structured Logging Framework for Agent System Observability [0.0]
AgentTraceは、このギャップを埋めるために設計された動的可観測性とテレメトリフレームワークである。
従来のロギングシステムとは異なり、AgentTraceは継続的でイントロスペクタブルなトレースキャプチャを強調している。
我々の研究は、AgentTraceがより信頼性の高いエージェントデプロイメント、きめ細かいリスク分析、情報信頼の校正を可能にする方法を強調している。
論文 参考訳（メタデータ） (2026-02-07T04:04:59Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - The Bitter Lesson of Diffusion Language Models for Agentic Workflows: A Comprehensive Reality Check [54.08619694620588]
本稿では,2つの異なるエージェントパラダイムであるEmbodied AgentsとTool-Calling AgentsにまたがるdLLMの包括的評価を行う。
Agentboard と BFCL では,現在の dLLM が信頼できるエージェントバックボーンとして機能しないという,"ビットレッスン" が報告されている。
論文 参考訳（メタデータ） (2026-01-19T11:45:39Z) - Verifiability-First Agents: Provable Observability and Lightweight Audit Agents for Controlling Autonomous LLM Systems [0.0]
本稿では,暗号およびシンボリック手法を用いてエージェントアクションの実行時の検証を統合する,検証可能性第一アーキテクチャを提案する。
また、制約付き推論を用いて意図と行動の連続的な検証を行う監査エージェントを組み込む。
当社のアプローチでは,評価の焦点を,誤適応の可能性から,誤適応の迅速かつ確実な検出と再伝達にシフトしています。
論文 参考訳（メタデータ） (2025-12-19T06:12:43Z) - Large language models require a new form of oversight: capability-based monitoring [10.382163755118713]
医療における大規模言語モデル(LLM)には、その監視に関する精査が伴っている。
そこで本研究では,これらのモデルの開発と実用化に基礎を置き,拡張性のあるジェネラリストLLMモニタリングの組織的原則を提案する。
機能ベースのモニタリングアプローチを実装する上で、開発者、組織リーダー、プロフェッショナル社会に対する考慮事項について説明する。
論文 参考訳（メタデータ） (2025-11-05T01:20:28Z) - LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。
本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
論文 参考訳（メタデータ） (2025-09-24T07:31:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。