論文の概要: VAKRA: Evaluating Multi-Hop Reasoning Across APIs and Retrieval Under Tool-Use Policies
- arxiv url: http://arxiv.org/abs/2608.12282v1
- Date: Wed, 12 Aug 2026 17:27:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.660644
- Title: VAKRA: Evaluating Multi-Hop Reasoning Across APIs and Retrieval Under Tool-Use Policies
- Title（参考訳）: VAKRA: ツール使用ポリシー下でのAPIと検索におけるマルチホップ推論の評価
- Abstract要約: VAKRAは622ドルのドメインにわたる8000ドル以上の実行可能なAPIのベンチマークである。
さまざまなAPIインタラクションスタイル、構造化APIに対するマルチホップ推論、自然言語ツール使用ポリシー制約によるマルチソース推論などをテストする。
固定されたReActハーネスを用いて、フロンティアモデルとオープンウェイトモデルを評価し、最高のモデルでさえシングルホップエンドポイントスタイルのタスクで70.4%しか達成できないことを発見した。
- 参考スコア（独自算出の注目度）: 5.733713042530412
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Agents deployed in enterprise settings must reason across structured APIs and document collections, yet existing benchmarks evaluate these capabilities in isolation. We introduce VAKRA (e\textbf{V}aluating \textbf{A}PI and \textbf{K}nowledge \textbf{R}etrieval \textbf{A}gents), a benchmark of over $8{,}000$ executable APIs across $62$ domains with tasks spanning three settings of increasing difficulty: diverse API interaction styles, multi-hop reasoning over structured APIs, and multi-source reasoning with natural-language tool-use policy constraints. Correctness is verified by re-executing predicted tool calls against live APIs, accommodating multiple valid paths. Using a fixed ReAct harness to isolate model capabilities from agent architecture, we evaluate frontier and open-weight models and find that even the best model achieves only 70.4\% on single-hop endpoint-style tasks and drops to 50--51\% on compositional APIs; performance degrades by over 50\% as reasoning depth increases, and policy-constrained questions expose severe failures (as low as 2.4\% on unanswerable queries). Trace analysis shows failures concentrate at language-mediated reasoning - entity disambiguation, cross-source grounding, rather than tool invocation mechanics. Code is available https://github.com/IBM/VAKRA. Dataset is available https://huggingface.co/datasets/ibm-research/VAKRA
- Abstract（参考訳）: エンタープライズ環境でデプロイされるエージェントは、構造化されたAPIとドキュメントコレクションをまたいで推論する必要があるが、既存のベンチマークではこれらの機能を独立して評価している。
VAKRA(e\textbf{V}aluating \textbf{A}PI and \textbf{K}nowledge \textbf{R}etrieval \textbf{A}gents)は、さまざまなAPIインタラクションスタイル、構造化APIに対するマルチホップ推論、自然言語ツール使用ポリシー制約によるマルチソース推論の3つの設定にまたがる、62ドル以上のドメインにわたる実行可能なAPIのベンチマークである。
正確性は、予測ツールコールをライブAPIに対して再実行し、複数の有効なパスを割り当てることによって検証される。
固定されたReActハーネスを使用してモデル機能をエージェントアーキテクチャから分離し、フロンティアとオープンウェイトモデルを評価し、最高のモデルでさえシングルホップのエンドポイントスタイルのタスクで70.4\%しか達成せず、コンポジションAPIで50-51\%まで低下する。
トレース分析は、ツールの呼び出し機構ではなく、言語による推論(エンティティの曖昧さ、ソース間のグラウンド化)に障害が集中していることを示している。
コードはhttps://github.com/IBM/VAKRAで入手できる。
Datasetはhttps://huggingface.co/datasets/ibm-research/VAKRAで利用可能である。
関連論文リスト
- MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents [50.27505102982638]
本稿では,ツールコールエージェントのベンチマークおよび評価フレームワークであるMM-ToolSandBoxを紹介する。
このフレームワークは16のアプリケーションドメインで500以上のツールにまたがるステートフルな実行環境を提供する。
マルチイメージのマルチターンタスクをサポートしており、エージェントは実行可能ツールコールに徐々に視覚的な入力を入力しなければならない。
論文 参考訳（メタデータ） (2026-07-13T17:13:09Z) - AISE-Bench: A Full-Cycle Curated Benchmark for Information Seeking on Academic Knowledge Graphs [55.8213573429699]
AISE-Benchは、学術知識グラフに基づく情報検索のための実世界のフルサイクルアノテートベンチマークである。
AISE-Benchリリースには1,133のQAペアが含まれている。クエリ、完全なAPI実行、検証されたパラメータ、リファレンスリンクによるソースグラウンドの回答などだ。
我々は,回答の品質,参照基盤,API計画の正確性,実行成功を総合的に評価するプロトコルを開発した。
論文 参考訳（メタデータ） (2026-06-16T07:59:46Z) - Diagnosing Knowledge Gaps in LLM Tool Use: An Agentic Benchmark for Novel API Acquisition [2.392878902712915]
NovelAPIBenchは、任意のベースモデルとターゲットライブラリの動的ベンチマークである。
探索によって注入された知識とパラメトリック適応によって内部化された知識を比較した。
Retrievalは揮発性のAPIコンテンツを提供し、チューニングは手続き統合を改善する。
論文 参考訳（メタデータ） (2026-06-02T13:46:04Z) - Trajectory Supervision for Continual Tool-Use Learning in LLMs [0.3823356975862005]
4つのシーケンシャルドメインブロックを使用してAPI-Bank上でQLoRAでLlama 3.1 8Bを微調整する。
条件Aはプロンプトから前のAPIリクエスト/レスポンス行を取り除き、次のAPI呼び出しを予測するためにモデルをトレーニングする。
条件Bは56.9%、条件Aは39.2%である。
論文 参考訳（メタデータ） (2026-05-10T20:09:41Z) - PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering [57.89576196160413]
大規模言語モデル (LLM) はマルチホップ質問応答 (MHQA) において脆弱のままである。
textbfPlanned Active Retrieval and Reasoning RAG (PAR$2-RAG)を提案する。
論文 参考訳（メタデータ） (2026-03-30T23:52:54Z) - TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。
報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
論文 参考訳（メタデータ） (2025-11-07T16:08:34Z) - APIRL: Deep Reinforcement Learning for REST API Fuzzing [3.053989095162017]
APIRLは、REST APIをテストするための、完全に自動化された深層強化学習ツールである。
APIRLは、現実世界のREST APIの最先端よりも、はるかに多くのバグを見つけることができます。
論文 参考訳（メタデータ） (2024-12-20T15:40:51Z) - A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。
このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。
12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
論文 参考訳（メタデータ） (2024-11-11T16:20:27Z) - DeepREST: Automated Test Case Generation for REST APIs Exploiting Deep Reinforcement Learning [5.756036843502232]
本稿では、REST APIを自動テストするための新しいブラックボックスアプローチであるDeepRESTを紹介します。
深い強化学習を活用して、暗黙のAPI制約、すなわちAPIドキュメントから隠された制約を明らかにする。
実験により,提案手法は高いテストカバレッジと故障検出を実現する上で極めて有効であることが示唆された。
論文 参考訳（メタデータ） (2024-08-16T08:03:55Z) - SoAy: A Solution-based LLM API-using Methodology for Academic Information Seeking [59.59923482238048]
SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。
ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。
その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
論文 参考訳（メタデータ） (2024-05-24T02:44:14Z) - Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。
BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。
非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
論文 参考訳（メタデータ） (2023-05-10T16:40:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。