論文の概要: EnterpriseSynth: Zero-Execution SFT and Evaluation Data from OpenAPI Specs

• arxiv url: http://arxiv.org/abs/2610.22412v1
• Date: Wed, 14 Oct 2026 20:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.579911
• Title: EnterpriseSynth: Zero-Execution SFT and Evaluation Data from OpenAPI Specs
• Title（参考訳）: EnterpriseSynth: OpenAPI仕様によるゼロ実行SFTと評価データ
• Abstract要約: 本稿では,OpenAPI仕様を教師付き微調整トラジェクトリに変換するゼロ実行フレームワークを提案する。 17個の実および合成APIで評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tool-using large language model agents require substantial training and evaluation data, yet collecting execution traces from enterprise APIs is often unsafe, expensive, or infeasible because of access controls, compliance constraints, rate limits, and the risk of modifying production data. We present EnterpriseSynth, a zero-execution framework that converts OpenAPI specifications into supervised fine-tuning trajectories and paired evaluation instances without invoking the underlying APIs. The framework uses a four-stage pipeline for specification parsing, intent generation, trajectory synthesis, and static validation. Each generated trajectory is checked against the source specification for endpoint, parameter, type, and schema consistency before being admitted to the dataset. We evaluate EnterpriseSynth on 17 real and synthetic APIs. Adversarial refinement increases the validator's detection rate for planted schema violations from 57-80% to 98% (43/44). Across five random seeds, a compact open-weight model fine-tuned on EnterpriseSynth data outperforms both an untuned model and a Self-Instruct baseline on held-out APIs. Performance remains consistent on five private, hand-authored API specifications that were not available during training, with tool-selection accuracy of 40.0% on the private set and 39.6% on the public held-out set. However, an independent LLM-based evaluation shows that endpoint-selection accuracy substantially overestimates end-to-end correctness: accuracy falls from 48.9% under the endpoint-level metric to 21.3% when argument selection and values are also evaluated. These results demonstrate that OpenAPI specifications can support scalable, execution-free data generation, while highlighting the need for argument-level evaluation when assessing the deployment readiness of tool-using agents.
• Abstract（参考訳）: ツールを使用する大規模言語モデルエージェントは、相当なトレーニングと評価データを必要とするが、エンタープライズAPIから実行トレースを収集することは、アクセス制御、コンプライアンス制約、レート制限、運用データの変更のリスクのため、安全でない、高価である、あるいは無効であることが多い。 OpenAPI仕様を教師付き微調整トラジェクトリとペア評価インスタンスに変換する,ゼロ実行フレームワークであるEnterpriseSynthを紹介します。 このフレームワークは4段階のパイプラインを使用して、仕様解析、インテント生成、軌道合成、静的検証を行う。 生成された各トラジェクトリは、データセットに承認される前に、エンドポイント、パラメータ、型、スキーマ整合性のソース仕様に対してチェックされる。 我々は17個の実・合成API上でEnterpriseSynthを評価した。 逆補正は、植込み型スキーマ違反に対するバリデータの検出率を57-80%から98%(43/44)に向上させる。 EnterpriseSynthのデータに基づいて微調整されたコンパクトなオープンウェイトモデルである5つのランダムシードは、未チューニングモデルと、保留中のAPI上でのセルフインストラクトベースラインの両方を上回っている。 パフォーマンスは、トレーニング中に使用できなかった5つのプライベートな、手書きのAPI仕様に一貫しており、ツール選択の精度はプライベートセットで40.0%、パブリックホールドアウトセットで39.6%である。 しかし、独立したLCMベースの評価では、終端選択の精度が終端から終端までの正確さをかなり過大評価している。 これらの結果は、OpenAPI仕様がスケーラブルで実行不要なデータ生成をサポートできることを示し、ツール使用エージェントのデプロイ準備性を評価する際に、引数レベルの評価の必要性を強調している。

関連論文リスト

• GIFT-Eval-CTX: A Benchmark For Contextual Forecasting Model Evaluation [54.762166226411956]
  GIFT-Eval-CTXは数値軌道予測のベンチマークである。 GIFT-Eval-CTXには、20データセットにわたる10,000のインスタンスが含まれている。 構造的効果により、GPT-5.6ゾルでは40.7%、クロードオプス4.8では29.6%の集合相対性MASEが減少する。
  論文  参考訳（メタデータ） (2026-10-13T06:21:50Z)
• Agent4Spec: An LLM-based Agentic System to Optimize API Specifications through Automated Validation and Market Analysis [0.13546242205182982]
  API仕様は、現代のソフトウェア開発にとって重要なドキュメントである。 我々は,2つの異なるパイプラインを特徴とする自律型マルチエージェントフレームワークであるAgent4Specを提案する。 汎用シナリオと産業シナリオの両方にまたがるAPI仕様の2つのキュレートされたデータセット上でAgent4Specを評価する。
  論文  参考訳（メタデータ） (2026-10-09T09:25:30Z)
• REST API Testing with Verified LLM-Inferred Dependencies and Response-Driven Refinement [19.22574614688818]
  APIをテストするには、操作、パラメータ、実行時に生成されたリソース間の依存関係を満たすAPI呼び出しを生成する必要がある。 最近のLCMベースのアプローチは、そのような依存関係を推論し、OpenAPI仕様からテストシーケンスを生成する。 これは、急激な依存関係を導入し、実行可能な操作チェーンを見逃し、実行不可能なテストを生成する。 私たちは、REST APIテストのための実行検証フレームワークであるAPIPilotを提案します。
  論文  参考訳（メタデータ） (2026-08-18T09:07:10Z)
• RESTOR: Automated Test Oracle Generation for RESTful APIs via Reinforcement Learning [21.927343858709122]
  Restorは、ブラックボックスの設定で単一のリクエスト-レスポンスペアから実行可能なテストアサーションを生成するフレームワークである。 実世界の246のサービスにまたがる2,300以上のAPIトレースからなる産業データセット上でRestorを評価する。
  論文  参考訳（メタデータ） (2026-07-27T03:20:28Z)
• Environment-free Synthetic Data Generation for API-Calling Agents [68.95520739708304]
  API呼び出し大型言語モデル(LLM)エージェントの訓練には、大量の高品質なトラジェクトリが必要である。 本研究では,LLMをオンザフライデジタルワールドモデルとして活用する環境不要な合成データ生成手法を提案する。 我々は,情報検索タスクと状態変更タスクの両方を含む,挑戦的なAppWorldとOfficeBenchベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-07-18T17:36:44Z)
• Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs [46.60041435990374]
  本稿では,実世界のMPPサーバから検証済みのツールコールデータを生成するためのパイプラインFireFlyを紹介する。 実世界のツール空間のスケールを扱うために、ペアワイズツールグラフとサンプルサブDAGを構築します。 このパイプラインを適用すると、240のサーバと93のツールにまたがる5,144の検証タスクが生成される。
  論文  参考訳（メタデータ） (2026-05-17T17:38:17Z)
• SynDelay: A Synthetic Dataset for Delivery Delay Prediction [50.56729406793283]
  配送遅延予測のための合成データセットであるSynDelayを提案する。 これはサプライチェーンAIにおけるデータセットの共有とベンチマークを促進するオープンイニシアチブである。
  論文  参考訳（メタデータ） (2025-08-30T21:54:37Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。