論文の概要: Grounding LLM Agents in Business Processes: Process-Aware Knowledge Graphs for Reliable Multi-Step Service Invocation
- arxiv url: http://arxiv.org/abs/2610.37242v1
- Date: Tue, 27 Oct 2026 13:45:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.645552
- Title: Grounding LLM Agents in Business Processes: Process-Aware Knowledge Graphs for Reliable Multi-Step Service Invocation
- Title(参考訳): ビジネスプロセスにおけるLLMエージェントの接地: 信頼性の高いマルチステップサービス呼び出しのためのプロセス認識知識グラフ
- Abstract要約: エンタープライズAPIを呼び出す大規模言語モデル(LLM)エージェントは、正しいエンドポイントを選択し、プロセス順序に従い、有効なペイロードキーを使用し、事前に定義されたリストからコード化された値を選択する必要がある。
我々は、Open Data Protocol(OData)メタデータとBusiness Process Model and Notation(BPMN)参照プロセスを型付きプロパティグラフに統合することで、この制限に対処します。
ハイブリッドレトリバーは、密埋め込みを使用して候補エンドポイントを特定し、プロセスエッジに従って後続のエンドポイントを検索する。
- 参考スコア(独自算出の注目度): 0.5156484100374058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents that call enterprise APIs must select the correct endpoints, follow process order, use valid payload keys, and choose coded values from predefined lists. However, current retrieval-augmented service discovery treats endpoints independently and therefore misses process and schema constraints. We address this limitation by integrating Open Data Protocol (OData) metadata and Business Process Model and Notation (BPMN) reference processes in a typed property graph. A hybrid retriever identifies candidate endpoints using dense embeddings and follows process edges to retrieve subsequent endpoints. We evaluate the method on 42 enterprise services with process-chain ground truth. For queries with low lexical overlap between the query and downstream entities, it improves Recall@3 by 5.7 points (n=74), with consistent gains across embedding models and cut-offs. It matches dense retrieval on other queries and provides no improvement on OpenAPI services without a process layer, indicating that the gains arise from process structure. We also evaluate an LLM agent on 81 multi-step queries. It completes 38.7% of tasks, compared with 10.3% for a chunk-based baseline. In an elicitation probe, providing valid code lists eliminates invented codes but leaves invalid keys in 46% of write runs. Full typed context reduces invalid calls to 3% (3 of 101 runs), with no invented codes. These results show that exposing process and schema constraints during retrieval improves the reliability of agent-driven API calls.
- Abstract(参考訳): エンタープライズAPIを呼び出す大規模言語モデル(LLM)エージェントは、正しいエンドポイントを選択し、プロセス順序に従い、有効なペイロードキーを使用し、事前に定義されたリストからコード化された値を選択する必要がある。
しかし、現在の検索強化されたサービスディスカバリはエンドポイントを独立して扱うため、プロセスとスキーマの制約を見逃します。
我々は、Open Data Protocol(OData)メタデータとBusiness Process Model and Notation(BPMN)参照プロセスを型付きプロパティグラフに統合することで、この制限に対処します。
ハイブリッドレトリバーは、密埋め込みを使用して候補エンドポイントを特定し、プロセスエッジに従って後続のエンドポイントを検索する。
プロセスチェーン基盤真理を用いて42のエンタープライズサービス上での手法を評価する。
クエリと下流エンティティ間の語彙的な重複が低いクエリでは、Recall@3を5.7ポイント(n=74)改善し、埋め込みモデルとカットオフで一貫したゲインを得る。
他のクエリの厳密な検索と一致し、プロセス層なしでOpenAPIサービスを改善することはなく、プロセス構造から得られる利益を示している。
また,81個のマルチステップクエリに対してLLMエージェントの評価を行った。
タスクの38.7%を完了し、チャンクベースのベースラインでは10.3%である。
Elicitation probeでは、有効なコードリストを提供することで、発明されたコードを排除するが、無効なキーは書き込み実行の46%に残される。
フル型付きコンテキストは、無効な呼び出しを3%(101回のうち3回)に減らし、発明されたコードはない。
これらの結果から,検索中にプロセスやスキーマの制約を公開することで,エージェント駆動型API呼び出しの信頼性が向上することがわかった。
関連論文リスト
- SCCGBench: Executability-Oriented Evaluation for Real-World Web Service-Call Code Generation [19.54893647681029]
Service-Call Code Generation Benchmark (SCCGBench)は、実際のGitHubリポジトリから3,135のトレース可能および非汚染のRapidAPIコール関数のベンチマークである。
目的のみ, 検索拡張, ゴールド文書化 Oracle 設定下で, 6つのコード LLM と1つの非神経検索ベースラインを評価した。
論文 参考訳(メタデータ) (2026-10-09T03:10:33Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳(メタデータ) (2026-09-02T08:10:22Z) - APIFlow-Bench: Measuring Whether Agents Survive Long, Dependent API Workflows [23.621239974604205]
APIFlow-Benchは、長期依存のREST-APIパフォーマンスのための、完全に監査可能なベンチマークである。
サブタスクによってサブタスクとして,合成APIの世界を前方に生成する。
すべての応答キーと44,362個の未修正実行書き起こしをリリースします。
論文 参考訳(メタデータ) (2026-08-29T08:12:11Z) - VAKRA: Evaluating Multi-Hop Reasoning Across APIs and Retrieval Under Tool-Use Policies [5.733713042530412]
VAKRAは622ドルのドメインにわたる8000ドル以上の実行可能なAPIのベンチマークである。
さまざまなAPIインタラクションスタイル、構造化APIに対するマルチホップ推論、自然言語ツール使用ポリシー制約によるマルチソース推論などをテストする。
固定されたReActハーネスを用いて、フロンティアモデルとオープンウェイトモデルを評価し、最高のモデルでさえシングルホップエンドポイントスタイルのタスクで70.4%しか達成できないことを発見した。
論文 参考訳(メタデータ) (2026-08-12T17:27:27Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - MASTOR: A Multi-Agent Approach to Semantic Test Oracle Generation for RESTful APIs [8.248920932579876]
既存の自動APIテストアプローチは、単純なチェックに依存している。
実装ソースコードに基づくAPIのためのセマンティックテストオラクルを生成するためのマルチエージェントアプローチであるMASTORを提案する。
論文 参考訳(メタデータ) (2026-06-09T06:35:21Z) - ImpliRet: Benchmarking the Implicit Fact Retrieval Challenge [50.93758649363798]
Impliretは、推論の課題をドキュメント側処理にシフトするベンチマークである。
我々は,この環境下で苦戦している,疎水・密集したレトリバーの幅を評価した。
論文 参考訳(メタデータ) (2025-06-17T11:08:29Z) - Retrieval-Augmented Generation for Service Discovery: Chunking Strategies and Benchmarking [0.6749750044497732]
本稿では, 終端検出における検索拡張生成の利用状況と, 実際のOpenAPIのチャンキング状況を分析し, 入力オッケン長を削減した。
合成のプロンプトの入力トークン長をさらに短縮し、エンドポイント検索を改善するために、(ii)最も関連性の高いエンドポイントの要約のみを受信するディスカバリエージェントを提案し、要求に応じて仕様の詳細を検索する。
論文 参考訳(メタデータ) (2025-05-25T20:49:39Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳(メタデータ) (2023-05-24T06:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。