論文の概要: APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets

• arxiv url: http://arxiv.org/abs/2406.18518v1
• Date: Wed, 26 Jun 2024 17:49:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 12:40:34.596933
• Title: APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets
• Title（参考訳）: APIGen: 検証可能なさまざまな関数計算データセットを生成するための自動パイプライン
• Authors: Zuxin Liu, Thai Hoang, Jianguo Zhang, Ming Zhu, Tian Lan, Shirley Kokane, Juntao Tan, Weiran Yao, Zhiwei Liu, Yihao Feng, Rithesh Murthy, Liangwei Yang, Silvio Savarese, Juan Carlos Niebles, Huan Wang, Shelby Heinecke, Caiming Xiong,
• Abstract要約: APIGenは、関数呼び出しアプリケーションのための検証可能な高品質データセットを合成するために設計された、自動データ生成パイプラインである。 APIGenを活用して、21のカテゴリにわたる3,673の実行可能なAPIを収集し、多様な関数呼び出しデータセットを生成します。 機能呼び出しエージェントドメインの分野を推し進めるため、6万の高品質なエントリを含むデータセットをリリースする。
• 参考スコア（独自算出の注目度）: 99.8988504388011
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advancement of function-calling agent models requires diverse, reliable, and high-quality datasets. This paper presents APIGen, an automated data generation pipeline designed to synthesize verifiable high-quality datasets for function-calling applications. We leverage APIGen and collect 3,673 executable APIs across 21 different categories to generate diverse function-calling datasets in a scalable and structured manner. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We demonstrate that models trained with our curated datasets, even with only 7B parameters, can achieve state-of-the-art performance on the Berkeley Function-Calling Benchmark, outperforming multiple GPT-4 models. Moreover, our 1B model achieves exceptional performance, surpassing GPT-3.5-Turbo and Claude-3 Haiku. We release a dataset containing 60,000 high-quality entries, aiming to advance the field of function-calling agent domains. The dataset is available on Huggingface: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k and the project homepage: https://apigen-pipeline.github.io/
• Abstract（参考訳）: 関数呼び出しエージェントモデルの進歩には、多種多様で信頼性があり、高品質なデータセットが必要である。 本稿では,関数呼び出しアプリケーションのための検証可能な高品質なデータセットを合成するために設計された,自動データ生成パイプラインであるAPIGenを提案する。 APIGenを活用して、21のカテゴリにわたる3,673の実行可能なAPIを収集し、スケーラブルで構造化された方法でさまざまな関数呼び出しデータセットを生成します。 データセットの各データは、フォーマットチェック、実際の関数実行、セマンティック検証という3つの階層的なステージを通じて検証され、信頼性と正確性を保証する。 我々は、キュレートされたデータセットでトレーニングされたモデルが、7Bパラメータだけで、Berkeley Function-Calling Benchmarkにおける最先端のパフォーマンスを達成でき、複数のGPT-4モデルを上回ることを実証した。 さらに,本モデルでは,GPT-3.5-TurboやClaude-3 Haikuよりも優れた性能を実現している。 機能呼び出しエージェントドメインの分野を推し進めるため、6万の高品質なエントリを含むデータセットをリリースする。 データセットはHuggingfaceで利用可能である。 https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k およびプロジェクトのホームページ: https://apigen-pipeline.github.io/

関連論文リスト

• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• Granite-Function Calling Model: Introducing Function Calling Abilities via Multi-task Learning of Granular Tasks [35.97890508648945]
  我々はApache 2.0ライセンスの下で-20B-FUNCTIONCALLINGモデルを紹介します。 モデルは7つの基本的なタスクに対してマルチタスクトレーニングアプローチを使用してトレーニングされる。 20B-FUNCTIONCALLINGは、7つの異なる評価データセットにおいて、複数のタスクに対してより一般化可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-27T17:47:26Z)
• DiffAgent: Fast and Accurate Text-to-Image API Selection with Large Language Model [90.71963723884944]
  テキスト・ツー・イメージ(T2I)生成モデルは非常に注目され、学術研究の内外に広く応用されている。 DiffAgentは、APIコールを介して、正確な選択を秒単位でスクリーニングするように設計されたエージェントである。 評価の結果,DiffAgentは適切なT2I APIの同定に優れるだけでなく,SFTAトレーニングフレームワークの有効性も裏付けることがわかった。
  論文  参考訳（メタデータ） (2024-03-31T06:28:15Z)
• Genixer: Empowering Multimodal Large Language Models as a Powerful Data Generator [63.762209407570715]
  Genixerは4つの重要なステップからなる総合的なデータ生成パイプラインである。 LLaVA1.5でトレーニングされた合成VQAライクなデータセットは、12のマルチモーダルベンチマークのうち10のパフォーマンスを向上させる。 タスク固有のデータセットで訓練されたMLLMは、複雑な命令チューニングデータを生成する際に、GPT-4Vを超えることができる。
  論文  参考訳（メタデータ） (2023-12-11T09:44:41Z)
• Going beyond research datasets: Novel intent discovery in the industry setting [60.90117614762879]
  本稿では,大規模なeコマースプラットフォームに展開する意図発見パイプラインを改善する手法を提案する。 ドメイン内データに基づく事前学習型言語モデルの利点を示す。 また,クラスタリングタスクの微調整中に,実生活データセットの会話構造(質問と回答)を利用するための最善の方法も考案した。
  論文  参考訳（メタデータ） (2023-05-09T14:21:29Z)
• On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
  開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。 開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。 既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
  論文  参考訳（メタデータ） (2022-04-05T20:33:24Z)
• DataLab: A Platform for Data Analysis and Intervention [96.75253335629534]
  DataLabは統一されたデータ指向プラットフォームであり、ユーザはデータの特徴をインタラクティブに分析することができる。 ツールネームには、データセットレコメンデーションとグローバルビジョン分析のための機能がある。 これまでのところ、DataLabは1,715のデータセットと3,583の変換バージョンをカバーしている。
  論文  参考訳（メタデータ） (2022-02-25T18:32:19Z)
• Compositional Generalization for Natural Language Interfaces to Web APIs [26.851998759793453]
  本稿では,Webアプリケーションプログラミングインタフェース(NL2API)に対する自然言語の新しいデータセットであるOkapiについて述べる。 このデータセットは英語で書かれており、3つのドメインをカバーする22,508の質問と9,019のユニークなAPI呼び出しを含んでいる。 NL2APIの新しい構成一般化タスクを定義し、トレーニングセット内の単純なAPI呼び出しから推論フェーズにおける新しいより複雑なAPI呼び出しまで、モデルが外挿する能力を探る。
  論文  参考訳（メタデータ） (2021-12-09T20:49:01Z)
• Auto-Validate: Unsupervised Data Validation Using Data-Domain Patterns Inferred from Data Lakes [16.392844962056742]
  我々は,適切なデータバリデーションパターンを推定し,自動検証するコーパス駆動型手法を開発した。 この技術の一部は、Microsoft Azure PurviewのAuto-Tag機能として提供される。
  論文  参考訳（メタデータ） (2021-04-10T01:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。