論文の概要: Multi-Step Tool-Calling over Korean Open Public APIs: A Benchmark and a Data-Synthesis Recipe

• arxiv url: http://arxiv.org/abs/2609.05395v1
• Date: Fri, 04 Sep 2026 17:44:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:24.143767
• Title: Multi-Step Tool-Calling over Korean Open Public APIs: A Benchmark and a Data-Synthesis Recipe
• Title（参考訳）: 韓国のオープン公開APIに対するマルチステップツールカートリング - ベンチマークとデータ合成のレシピ
• Abstract要約: 実世界の145のタスクからなるKorea Open Public API Benchmark(KOPA-Bench)を紹介する。 EDGEは,ライブ実行によって駆動されるツールコールデータ合成のための動的グラフである。
• 参考スコア（独自算出の注目度）: 1.3546022242815094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-sovereignty regulations increasingly require public institutions to deploy open-source, on-premise LLM agents that chain multiple tool-calls across live government APIs. However, open-source models consistently underperform in this multi-step setting, and no existing benchmark measures the gap. We introduce the Korean Open Public API Benchmark (KOPA-Bench), comprising 145 real-world tasks. To close this gap, we present EDGE, an Execution-grounded Dynamic Graph for tool-calling data synthEsis driven by live execution. EDGE builds a graph of how each tool's output can feed another's input, keeps only the links that succeed when actually called against the live APIs, and traverses these verified links to synthesize executable multi-step trajectories. Fine-tuned via GRPO on the resulting dataset, our 9B model nearly matches the untuned 27B model from the same family, improving substantially not only on KOPA-Bench but also on the BFCL benchmark.
• Abstract（参考訳）: データソブリンティの規制は、公共機関に対して、複数のツールコールをライブ政府APIにチェーンするオープンソースのオンプレミスのLLMエージェントをデプロイする必要性がますます高まっている。 しかし、このマルチステップ設定ではオープンソースモデルは一貫して性能が劣り、既存のベンチマークではそのギャップを測ることができない。 実世界の145のタスクからなるKorea Open Public API Benchmark(KOPA-Bench)を紹介する。 このギャップを埋めるために、ライブ実行によって駆動されるツールコールデータ合成のためのExecution-grounded Dynamic GraphであるEDGEを提案する。 EDGEは、各ツールの出力がどのように他のツールの入力を供給できるかのグラフを構築し、実際にライブAPIに対して呼び出されたときに成功するリンクのみを保持し、検証済みリンクをトラバースして実行可能なマルチステップの軌跡を合成する。 その結果、GRPOを用いて微調整し、我々の9Bモデルは、同じ家系の未修正27Bモデルとほぼ一致し、KOPA-BenchだけでなくBFCLベンチマークでも大幅に改善された。

関連論文リスト

• Environment-free Synthetic Data Generation for API-Calling Agents [68.95520739708304]
  API呼び出し大型言語モデル(LLM)エージェントの訓練には、大量の高品質なトラジェクトリが必要である。 本研究では,LLMをオンザフライデジタルワールドモデルとして活用する環境不要な合成データ生成手法を提案する。 我々は,情報検索タスクと状態変更タスクの両方を含む,挑戦的なAppWorldとOfficeBenchベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-07-18T17:36:44Z)
• AISE-Bench: A Full-Cycle Curated Benchmark for Information Seeking on Academic Knowledge Graphs [55.8213573429699]
  AISE-Benchは、学術知識グラフに基づく情報検索のための実世界のフルサイクルアノテートベンチマークである。 AISE-Benchリリースには1,133のQAペアが含まれている。クエリ、完全なAPI実行、検証されたパラメータ、リファレンスリンクによるソースグラウンドの回答などだ。 我々は,回答の品質,参照基盤,API計画の正確性,実行成功を総合的に評価するプロトコルを開発した。
  論文  参考訳（メタデータ） (2026-06-16T07:59:46Z)
• Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs [46.60041435990374]
  本稿では,実世界のMPPサーバから検証済みのツールコールデータを生成するためのパイプラインFireFlyを紹介する。 実世界のツール空間のスケールを扱うために、ペアワイズツールグラフとサンプルサブDAGを構築します。 このパイプラインを適用すると、240のサーバと93のツールにまたがる5,144の検証タスクが生成される。
  論文  参考訳（メタデータ） (2026-05-17T17:38:17Z)
• UniToolCall: Unifying Tool-Use Representation, Data, and Evaluation for LLM Agents [22.52508596251479]
  構築とデータセット生成から評価に至るまで,パイプライン全体を標準化するツール学習用統合フレームワークであるUniToolCallを提案する。 我々は、7つの公開ベンチマークを、関数呼び出し、ターン、会話のレベルできめ細かい評価を施した、クエリ-Action--Observation-Answer (QAOA) 表現に変換する。 Anchoror-Heavy Hybrid-20では、1ターンのStrict Precisionを93.0%達成し、GPT、Gemini、Claudeといった商用モデルを上回っている。
  論文  参考訳（メタデータ） (2026-04-13T14:43:47Z)
• Bridging Academia and Industry: A Comprehensive Benchmark for Attributed Graph Clustering [19.247242477915382]
  分散グラフクラスタリング(AGC)は、構造トポロジとノード属性を統合して、グラフ構造化データの潜在パターンを明らかにする、基本的な教師なしタスクである。 不正検出やユーザセグメンテーションといった産業的応用において重要であるが、学術研究と現実世界の展開の間には大きな亀裂が残っている。 PyAGCは多種多様なスケールと構造特性にまたがってAGC手法をストレステストするために設計された,実運用可能なベンチマークおよびライブラリである。
  論文  参考訳（メタデータ） (2026-02-09T11:07:24Z)
• ToolForge: A Data Synthesis Pipeline for Multi-Hop Search without Real-World APIs [40.70833390513187]
  本稿では,強力な実世界のツールコール性能を実現する自動合成フレームワークであるToolForgeを紹介する。 ToolForgeは、マルチホップ検索シナリオ用に設計された大規模ツール学習データを合成する。 実験結果から,合成データを用いてトレーニングした場合,8Bパラメータのみのモデルが複数のベンチマークでGPT-4oを上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-12-18T04:06:26Z)
• GOAT: A Training Framework for Goal-Oriented Agent with Tools [16.5275883251462]
  大規模言語モデル(LLM)は、インタラクティブエージェントとして機能するために、最近、従来のテキスト生成を超えて拡張されている。 本研究では,人間のアノテーションを含まない環境下でのLDMエージェントの微調整を可能にする新しいトレーニングフレームワークGOATを提案する。 広範な実験により,GOAT学習エージェントは,複数の既存の目標指向ベンチマークにおいて最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-10-14T07:14:50Z)
• What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities [56.646832992178105]
  我々は、制御可能な複雑性のタスクを合成するための自動パイプラインを備えたクロスプラットフォームグラフベースのベンチマークであるOmniBenchを紹介した。 OmniEvalは、サブタスクレベルの評価、グラフベースのメトリクス、および10機能にわたる包括的なテストを含む多次元評価フレームワークである。 我々のデータセットには、20のシナリオにわたる36万のグラフ構造化タスクが含まれており、人間の受け入れ率は91%に達する。
  論文  参考訳（メタデータ） (2025-06-10T15:59:38Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。