論文の概要: Symbolic Constraint Agents: Mining Formal Tool-Call Constraints to Prevent Agent Errors
- arxiv url: http://arxiv.org/abs/2610.25552v1
- Date: Sun, 18 Oct 2026 21:49:20 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:28:12.936648
- Title: Symbolic Constraint Agents: Mining Formal Tool-Call Constraints to Prevent Agent Errors
- Title(参考訳): シンボリック・コントラスト・エージェント: エージェントエラー防止のためのホルムツール・コール・コントラストのマイニング
- Abstract要約: シンボリック制約エージェントは、APIドキュメントからシンボリック制約をマイニングし、実行トレースに対してそれらを洗練し、実行時にエージェントのツールコールをチェックする。
違反は自然言語警告を引き起こすか、有効な置換が一意に決定された場合、自動修理を行う。
AppWorldでは、GPT-5.5トレースでは37.0から58.3に、Qwen3.5-27Bトレースでは39.3から61.9に改善が加えられている。
実行時に、GPT-5.4-miniのタスクは40コールの予算で5.4ポイント、環境エラーが隠された場合9.8ポイントに向上する。
- 参考スコア(独自算出の注目度): 5.289960856085817
- License:
- Abstract: Symbolic constraints (programmatic, deterministic checks for tool calls) enable deterministic verification of LLM agents' tool calls, but existing approaches primarily enforce predefined safety policies rather than tool dependencies in complex tool environments. We explore whether symbolic constraints can be mined from environments and observations beyond predefined policies, and whether they can improve end-to-end task performance. We present Symbolic Constraint Agents (SCA), a framework that mines symbolic constraints from API documentation, refines them against execution traces, and checks the agent's tool calls with an SMT solver at runtime. A violation triggers a natural-language warning or, when the valid replacement is uniquely determined, an automatic repair. On AppWorld, refinement raises error-detection F1 from 37.0 to 58.3 on GPT-5.5 traces and from 39.3 to 61.9 on Qwen3.5-27B traces. At runtime, repair raises GPT-5.4-mini's task success by 5.4 points under a 40-call budget and 9.8 points when environment errors are hidden, while removing 59--87\% of failed calls across models, and transfers to $τ^2$-bench with gains of up to 5.6 points. These findings show that automatically acquired symbolic constraints can improve tool-calling reliability and task completion, particularly when failures are costly or difficult to diagnose.
- Abstract(参考訳): シンボリック制約(プログラム的、決定論的ツールコールのチェック)は、LLMエージェントのツールコールの決定論的検証を可能にするが、既存のアプローチは主に複雑なツール環境におけるツール依存ではなく、事前に定義された安全ポリシーを強制する。
我々は,事前定義された政策を超えて,環境や観察から象徴的な制約を抽出し,エンドツーエンドのタスク性能を向上させることができるかどうかを検討する。
私たちは、APIドキュメントからシンボリック制約をマイニングし、それらを実行トレースに対して洗練し、実行時にSMTソルバでエージェントのツール呼び出しをチェックするフレームワークであるSmbolic Constraint Agents(SCA)を紹介します。
違反は自然言語警告を引き起こすか、有効な置換が一意に決定された場合、自動修理を行う。
AppWorldでは、GPT-5.5トレースでは37.0から58.3に、Qwen3.5-27Bトレースでは39.3から61.9に改善が加えられている。
実行時に、GPT-5.4-miniのタスクは40コールの予算で5.4ポイント、環境エラーが隠されたときに9.8ポイント、モデル間で59~87パーセントのエラーコールを削除し、最大5.6ポイントのゲインで$τ^2$-benchに転送される。
これらの結果から,ツールコールの信頼性やタスク完了,特に障害のコストや診断が困難である場合に,自動的に取得されるシンボリック制約が,ツールコールの信頼性やタスク完了を改善することが示唆された。
関連論文リスト
- AgentAudit: An Open, Extensible Framework for Full-Lifecycle Trust Evaluation of AI Agents [2.8000808592516293]
AgentAuditは10の能力、グラウンド、セキュリティ、振る舞いの次元にわたって、実行トレース全体を評価する。
記録された実行トレースのみを読み出し、エージェントの実行方法に干渉しない。
我々は,9つの言語モデル(OpenAI GPT-5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)を,9つの能力と対向タスクで評価した。
論文 参考訳(メタデータ) (2026-09-09T08:29:16Z) - Task-Conditioned Least-Privilege Learning for Executable Terminal and MCP Agents [45.88028371034407]
ツールを使用する大規模言語モデルエージェントは、ユーザが許可しなかったり、タスクが不要であったりする権限を行使しながらタスクを完了することができる。
本研究では,6次元のリスクを伴って各行動が実行前および観測結果から監査される枠組みを提案する。
このフレームワークを1500以上のタスクでQwen3.5-4Bでトレーニングした後、選択された種子は2,896回の評価エピソードで98.48%の安全成功に達した。
論文 参考訳(メタデータ) (2026-08-18T22:07:23Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳(メタデータ) (2026-07-21T06:21:13Z) - PlanBench-XL: Evaluating Long-Horizon Planning of LLM Tool-Use Agents in Large-Scale Tool Ecosystems [59.730861364166174]
PlanBench-XLは、327の小売タスクを1,665以上のツールでインタラクティブにベンチマークする。
エージェントが使用可能なツールを反復的に検索できるかどうかをテストし、最終目標に対するその後の呼び出しの中間的証拠を明らかにするためにそれらを呼び出す。
論文 参考訳(メタデータ) (2026-06-21T08:29:12Z) - SING: Synthetic Intention Graph for Scalable Active Tool Discovery in LLM Agents [64.59100414726556]
大規模言語モデル(LLM)エージェントは、コンテキスト、ツール、マルチターン実行を管理するハーネスに依存している。
Retrieval-augmented Tool selectionは、自然な代替手段を提供するが、既存のワンショット検索方法は、独立したツール記述とエージェントの真のタスク意図との整合に失敗する。
我々は、ユーザ意図、ツール機能、ツールコラボレーションパターンをリンクするインテントツーオールグラフを構築する、意図認識型のアクティブツール発見フレームワークであるSINGを提案する。
論文 参考訳(メタデータ) (2026-06-15T11:37:37Z) - Controllable and Verifiable Tool-Use Data Synthesis for Agentic Reinforcement Learning [82.89535601592739]
マルチレベル検証を用いた自己進化型合成により,信頼性の高い基本ツール利用軌跡を生成する2段階パイプラインを提案する。
これらの拡張は、トラクタツール、間接的または曖昧なユーザクエリ、ノイズ、マルチフォーマット、あるいは誤ったツール出力を導入します。
本設計では,標準事例に対する参照マッチングによる報酬の自動計算と,エラー検出などの特別な動作に対する軽量な判断支援検証を実現する。
論文 参考訳(メタデータ) (2026-04-10T18:38:52Z) - Agentproof: Static Verification of Agent Workflow Graphs [0.0]
エージェントフレームワークは、ツール使用の振る舞いを明示的なワークフローグラフとしてエンコードする傾向にある。
本稿では,4つの主要なエージェントフレームワークから統合抽象グラフモデルを自動的に抽出するAgentproofを提案する。
汎用的なモデルチェッカーとは異なり、Agentproofは手動モデリングを必要としない。
論文 参考訳(メタデータ) (2026-03-20T13:56:20Z) - Guardrails as Infrastructure: Policy-First Control for Tool-Orchestrated Workflows [0.0]
Policy-First Toolingは、明示的な制約、リスク認識ゲーティング、リカバリコントロール、監査可能な説明を通じて、ツールの実行を仲介する。
制御された5つのポリシーパックと3つの障害プロファイルをまたいだ225の運用では、厳格なパックにより、違反防止はP0の0.000からP4の0.681に改善され、タスク成功は0.356から0.067に減少した。
論文 参考訳(メタデータ) (2026-03-18T01:19:33Z) - Trace: Securing Smart Contract Repository Against Access Control Vulnerability [58.02691083789239]
GitHubはソースコード、ドキュメント、設定ファイルを含む多数のスマートコントラクトリポジトリをホストしている。
サードパーティの開発者は、カスタム開発中にこれらのリポジトリからコードを参照、再利用、フォークすることが多い。
スマートコントラクトの脆弱性を検出する既存のツールは、複雑なリポジトリを扱う能力に制限されている。
論文 参考訳(メタデータ) (2025-10-22T05:18:28Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳(メタデータ) (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。