論文の概要: APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets

• arxiv url: http://arxiv.org/abs/2406.18518v1
• Date: Wed, 26 Jun 2024 17:49:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-27 12:40:34.596933
• Title: APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets
• Title（参考訳）: APIGen: 検証可能なさまざまな関数計算データセットを生成するための自動パイプライン
• Abstract要約: APIGenは、関数呼び出しアプリケーションのための検証可能な高品質データセットを合成するために設計された、自動データ生成パイプラインである。 APIGenを活用して、21のカテゴリにわたる3,673の実行可能なAPIを収集し、多様な関数呼び出しデータセットを生成します。 機能呼び出しエージェントドメインの分野を推し進めるため、6万の高品質なエントリを含むデータセットをリリースする。
• 参考スコア（独自算出の注目度）: 99.8988504388011
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advancement of function-calling agent models requires diverse, reliable, and high-quality datasets. This paper presents APIGen, an automated data generation pipeline designed to synthesize verifiable high-quality datasets for function-calling applications. We leverage APIGen and collect 3,673 executable APIs across 21 different categories to generate diverse function-calling datasets in a scalable and structured manner. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We demonstrate that models trained with our curated datasets, even with only 7B parameters, can achieve state-of-the-art performance on the Berkeley Function-Calling Benchmark, outperforming multiple GPT-4 models. Moreover, our 1B model achieves exceptional performance, surpassing GPT-3.5-Turbo and Claude-3 Haiku. We release a dataset containing 60,000 high-quality entries, aiming to advance the field of function-calling agent domains. The dataset is available on Huggingface: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k and the project homepage: https://apigen-pipeline.github.io/
• Abstract（参考訳）: 関数呼び出しエージェントモデルの進歩には、多種多様で信頼性があり、高品質なデータセットが必要である。 本稿では,関数呼び出しアプリケーションのための検証可能な高品質なデータセットを合成するために設計された,自動データ生成パイプラインであるAPIGenを提案する。 APIGenを活用して、21のカテゴリにわたる3,673の実行可能なAPIを収集し、スケーラブルで構造化された方法でさまざまな関数呼び出しデータセットを生成します。 データセットの各データは、フォーマットチェック、実際の関数実行、セマンティック検証という3つの階層的なステージを通じて検証され、信頼性と正確性を保証する。 我々は、キュレートされたデータセットでトレーニングされたモデルが、7Bパラメータだけで、Berkeley Function-Calling Benchmarkにおける最先端のパフォーマンスを達成でき、複数のGPT-4モデルを上回ることを実証した。 さらに,本モデルでは,GPT-3.5-TurboやClaude-3 Haikuよりも優れた性能を実現している。 機能呼び出しエージェントドメインの分野を推し進めるため、6万の高品質なエントリを含むデータセットをリリースする。 データセットはHuggingfaceで利用可能である。 https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k およびプロジェクトのホームページ: https://apigen-pipeline.github.io/

関連論文リスト

• Environment-free Synthetic Data Generation for API-Calling Agents [68.95520739708304]
  API呼び出し大型言語モデル(LLM)エージェントの訓練には、大量の高品質なトラジェクトリが必要である。 本研究では,LLMをオンザフライデジタルワールドモデルとして活用する環境不要な合成データ生成手法を提案する。 我々は,情報検索タスクと状態変更タスクの両方を含む,挑戦的なAppWorldとOfficeBenchベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-07-18T17:36:44Z)
• Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs [46.60041435990374]
  本稿では,実世界のMPPサーバから検証済みのツールコールデータを生成するためのパイプラインFireFlyを紹介する。 実世界のツール空間のスケールを扱うために、ペアワイズツールグラフとサンプルサブDAGを構築します。 このパイプラインを適用すると、240のサーバと93のツールにまたがる5,144の検証タスクが生成される。
  論文  参考訳（メタデータ） (2026-05-17T17:38:17Z)
• GenesisFunc: Multi-Agent Data Generation for Accurate and Generalizable Function-Calling [48.71974949983576]
  関数呼び出しデータを生成する自動パイプラインであるGenesisFuncを提案する。 提案手法は,下流のツールにまたがって効果的にスケールできる可能性を示し,実世界の応用性を裏付けるものである。
  論文  参考訳（メタデータ） (2026-04-10T14:02:03Z)
• EigenData: A Self-Evolving Multi-Agent Platform for Function-Calling Data Synthesis, Auditing, and Repair [18.22665454212814]
  EigenDataは統合された自己進化型プラットフォームで、マルチエージェントアーキテクチャを通じて完全なデータライフサイクルを自動化する。 我々はEigenDataをBFCL-V3(Berkeley Function-Calling Leaderboard)の監査と修復に応用する。 提案手法は, 結果認識指標と組み合わせて, 機能的正当性の人的判断と有意に相関するモデルランキングを生成できることを実証する。
  論文  参考訳（メタデータ） (2026-03-05T04:58:38Z)
• ToolForge: A Data Synthesis Pipeline for Multi-Hop Search without Real-World APIs [40.70833390513187]
  本稿では,強力な実世界のツールコール性能を実現する自動合成フレームワークであるToolForgeを紹介する。 ToolForgeは、マルチホップ検索シナリオ用に設計された大規模ツール学習データを合成する。 実験結果から,合成データを用いてトレーニングした場合,8Bパラメータのみのモデルが複数のベンチマークでGPT-4oを上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-12-18T04:06:26Z)
• Invocable APIs derived from NL2SQL datasets for LLM Tool-Calling Evaluation [7.260113022127256]
  大規模言語モデル(LLM)はエージェントシステムとして定期的にデプロイされ、タスクを達成するためにライブ環境と対話するツールにアクセスする。 このような特徴を持つデータセットを作成するために,既存のNL2データセットを使用してNL2APIデータセットを自動的に作成する方法を検討する。 私たちはこのパイプラインを、最大のNL2データセットであるBIRDに適用して、2500以上のAPIのコレクションを作成します。
  論文  参考訳（メタデータ） (2025-06-12T20:17:52Z)
• HelpSteer3-Preference: Open Human-Annotated Preference Data across Diverse Tasks and Languages [61.28284565925745]
  提案するHelpSteer3-Preferenceは,4万以上のサンプルからなる高品質な人手による選好データセットである。 HelpSteer3-Preference を用いて、RM-Bench (82.4%) と JudgeBench (73.7%) で最高性能を達成するリワードモデル (RM) を訓練する。 これは、既存のRMから報告された結果よりも大幅に改善(10%絶対)したことを意味する。
  論文  参考訳（メタデータ） (2025-05-16T17:31:19Z)
• APIGen-MT: Agentic Pipeline for Multi-Turn Data Generation via Simulated Agent-Human Interplay [86.01901238059261]
  APIGen-MTは検証可能で多様なマルチターンエージェントデータを生成するフレームワークである。 xLAM-2-fc-r 級数で 1B から 70B のパラメータを持つモデル群を訓練する。 我々のモデルは、$tau$-benchとBFCLベンチマークでGPT-4oやClaude 3.5のようなフロンティアモデルより優れている。
  論文  参考訳（メタデータ） (2025-04-04T17:13:57Z)
• UnitCoder: Scalable Iterative Code Synthesis with Unit Test Guidance [65.01483640267885]
  大きな言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示してきたが、コード生成は依然として大きな課題である。 私たちは、モデル生成ユニットテストを活用してコード生成プロセスのガイドと検証を行う、システマティックパイプラインであるUnitCoderを紹介します。 我々の研究は、モデル生成単体テストを利用して、事前学習コーパスから高品質なコードデータの合成を誘導するスケーラブルなアプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-17T05:37:02Z)
• Data-Juicer 2.0: Cloud-Scale Adaptive Data Processing for Foundation Models [64.28420991770382]
  我々は,100以上の演算子が支援する実りあるデータ処理機能を提供する新しいシステムであるData-Juicer 2.0を提案する。 このシステムは、さまざまな研究努力、実用的なアプリケーション、Alibaba Cloud PAIのような現実世界の製品で、公開され、積極的に維持され、広く採用されている。
  論文  参考訳（メタデータ） (2024-12-23T08:29:57Z)
• Adaptable and Precise: Enterprise-Scenario LLM Function-Calling Capability Training Pipeline [7.487352346469893]
  実世界のビジネスシナリオに適した関数呼び出し機能のためのトレーニングパイプラインを提案する。 このパイプラインは、シナリオ固有の関数呼び出しデータの合成と拡張、モデル微調整、性能評価と分析を含む。 本モデルでは, GPT-4, GPT-4oを精度良く上回り, 評価, 実用化に優れた性能を示した。
  論文  参考訳（メタデータ） (2024-12-20T08:20:21Z)
• REFINE on Scarce Data: Retrieval Enhancement through Fine-Tuning via Model Fusion of Embedding Models [14.023953508288628]
  検索拡張生成(RAG)パイプラインは、質問応答(QA)などのタスクで一般的に使用される。 本稿では,利用可能な文書から合成データを生成する新しい手法であるREFINEを提案する。
  論文  参考訳（メタデータ） (2024-10-16T08:43:39Z)
• NESTFUL: A Benchmark for Evaluating LLMs on Nested Sequences of API Calls [24.183027762617233]
  API呼び出しのネストシーケンスに基づいて,大規模言語モデル(LLM)を評価するベンチマークであるNESTFULを提案する。 その結果,データセット上での最適性能モデルは,25%,勝率34%の完全シーケンスマッチング精度を有することがわかった。
  論文  参考訳（メタデータ） (2024-09-04T17:53:24Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• Granite-Function Calling Model: Introducing Function Calling Abilities via Multi-task Learning of Granular Tasks [35.97890508648945]
  我々はApache 2.0ライセンスの下で-20B-FUNCTIONCALLINGモデルを紹介します。 モデルは7つの基本的なタスクに対してマルチタスクトレーニングアプローチを使用してトレーニングされる。 20B-FUNCTIONCALLINGは、7つの異なる評価データセットにおいて、複数のタスクに対してより一般化可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-27T17:47:26Z)
• DiffAgent: Fast and Accurate Text-to-Image API Selection with Large Language Model [90.71963723884944]
  テキスト・ツー・イメージ(T2I)生成モデルは非常に注目され、学術研究の内外に広く応用されている。 DiffAgentは、APIコールを介して、正確な選択を秒単位でスクリーニングするように設計されたエージェントである。 評価の結果,DiffAgentは適切なT2I APIの同定に優れるだけでなく,SFTAトレーニングフレームワークの有効性も裏付けることがわかった。
  論文  参考訳（メタデータ） (2024-03-31T06:28:15Z)
• Going beyond research datasets: Novel intent discovery in the industry setting [60.90117614762879]
  本稿では,大規模なeコマースプラットフォームに展開する意図発見パイプラインを改善する手法を提案する。 ドメイン内データに基づく事前学習型言語モデルの利点を示す。 また,クラスタリングタスクの微調整中に,実生活データセットの会話構造(質問と回答)を利用するための最善の方法も考案した。
  論文  参考訳（メタデータ） (2023-05-09T14:21:29Z)
• DataLab: A Platform for Data Analysis and Intervention [96.75253335629534]
  DataLabは統一されたデータ指向プラットフォームであり、ユーザはデータの特徴をインタラクティブに分析することができる。 ツールネームには、データセットレコメンデーションとグローバルビジョン分析のための機能がある。 これまでのところ、DataLabは1,715のデータセットと3,583の変換バージョンをカバーしている。
  論文  参考訳（メタデータ） (2022-02-25T18:32:19Z)
• Compositional Generalization for Natural Language Interfaces to Web APIs [26.851998759793453]
  本稿では,Webアプリケーションプログラミングインタフェース(NL2API)に対する自然言語の新しいデータセットであるOkapiについて述べる。 このデータセットは英語で書かれており、3つのドメインをカバーする22,508の質問と9,019のユニークなAPI呼び出しを含んでいる。 NL2APIの新しい構成一般化タスクを定義し、トレーニングセット内の単純なAPI呼び出しから推論フェーズにおける新しいより複雑なAPI呼び出しまで、モデルが外挿する能力を探る。
  論文  参考訳（メタデータ） (2021-12-09T20:49:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。