論文の概要: Adaptable and Precise: Enterprise-Scenario LLM Function-Calling Capability Training Pipeline

• arxiv url: http://arxiv.org/abs/2412.15660v1
• Date: Fri, 20 Dec 2024 08:20:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:24:55.122009
• Title: Adaptable and Precise: Enterprise-Scenario LLM Function-Calling Capability Training Pipeline
• Title（参考訳）: 適応性と正確性:エンタープライズScenario LLM機能ケーリング能力訓練パイプライン
• Authors: Guancheng Zeng, Wentao Ding, Beining Xu, Chi Zhang, Wenqiang Han, Gang Li, Jingjing Mo, Pengxu Qiu, Xinran Tao, Wang Tao, Haowen Hu,
• Abstract要約: 実世界のビジネスシナリオに適した関数呼び出し機能のためのトレーニングパイプラインを提案する。 このパイプラインは、シナリオ固有の関数呼び出しデータの合成と拡張、モデル微調整、性能評価と分析を含む。 本モデルでは, GPT-4, GPT-4oを精度良く上回り, 評価, 実用化に優れた性能を示した。
• 参考スコア（独自算出の注目度）: 7.487352346469893
• License:
• Abstract: Enterprises possess a vast array of API assets scattered across various functions, forming the backbone of existing business processes. By leveraging these APIs as functional tools, enterprises can design diverse, scenario-specific agent applications, driven by on-premise function-calling models as the core engine. However, generic models often fail to meet enterprise requirements in terms of computational efficiency, output accuracy, and stability, necessitating scenario-specific adaptation. In this paper, we propose a training pipeline for function-calling capabilities tailored to real-world business scenarios. This pipeline includes the synthesis and augmentation of scenario-specific function-calling data, model fine-tuning, and performance evaluation and analysis. Using this pipeline, we generated 1,260 fully AI-generated samples and 1,035 augmented manually-labeled samples in digital HR agent scenario. The Qwen2.5-Coder-7B-Instruct model was employed as the base model and fine-tuned using the LoRA method on four GPUs with 24GB VRAM. Our fine-tuned model demonstrated outstanding performance in evaluations and practical applications, surpassing GPT-4 and GPT-4o in accuracy on the test set. These results validate the reliability of the proposed pipeline for training scenario-specific function-calling models.
• Abstract（参考訳）: 企業は様々な機能にまたがる膨大なAPI資産を所有しており、既存のビジネスプロセスのバックボーンを形成しています。 これらのAPIを機能ツールとして活用することにより、企業は、オンプレミスの関数呼び出しモデルによってコアエンジンとして駆動される、多様なシナリオ固有のエージェントアプリケーションを設計できる。 しかし、一般的なモデルは、計算効率、出力精度、安定性の観点からの企業要求を満たすことができず、シナリオ固有の適応が必要である。 本稿では,実世界のビジネスシナリオに適した関数呼び出し機能のためのトレーニングパイプラインを提案する。 このパイプラインは、シナリオ固有の関数呼び出しデータの合成と拡張、モデル微調整、性能評価と分析を含む。 このパイプラインを使用して、1260個のAI生成サンプルと1,035個の手動ラベル付きサンプルをデジタルHRエージェントのシナリオで生成した。 Qwen2.5-Coder-7B-Instructモデルはベースモデルとして使われ、24GBのVRAMを持つ4つのGPU上でLoRA法を用いて微調整された。 本モデルでは, GPT-4, GPT-4oを精度良く上回り, 評価, 実用化に優れた性能を示した。 これらの結果は,シナリオ固有の関数呼び出しモデルをトレーニングするためのパイプラインの信頼性を検証する。

関連論文リスト

• SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
  本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。 SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。 当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
  論文  参考訳（メタデータ） (2024-10-04T14:52:18Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)
• APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets [99.8988504388011]
  APIGenは、関数呼び出しアプリケーションのための検証可能な高品質データセットを合成するために設計された、自動データ生成パイプラインである。 APIGenを活用して、21のカテゴリにわたる3,673の実行可能なAPIを収集し、多様な関数呼び出しデータセットを生成します。 機能呼び出しエージェントドメインの分野を推し進めるため、6万の高品質なエントリを含むデータセットをリリースする。
  論文  参考訳（メタデータ） (2024-06-26T17:49:11Z)
• Model-driven realization of IDTA submodel specifications: The good, the bad, the incompatible? [49.60138105915326]
  アセット・マネジメント・シェルは産業4.0でトレンドになっている。 2024年2月、インダストリアル・デジタル・ツイン・アソシエーション (Industrial Digital Twin Association) は84と18のASサブモデル仕様を発表した。 本稿では、IDTA仕様から抽出した情報を中間メタモデルに変換し、そこからAPIコードとテストを生成するモデル駆動型アプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-20T16:33:46Z)
• Event Stream GPT: A Data Pre-processing and Modeling Library for Generative, Pre-trained Transformers over Continuous-time Sequences of Complex Events [2.9330609943398525]
  Event Stream GPT(ESGPT)は、連続的なイベントシーケンスのためのGPTを構築するためのエンドツーエンドプロセスを合理化するオープンソースライブラリである。 ESGPTでは、最小構成ファイルのみを指定することで、フレキシブルで基礎モデルスケールの入力データセットを構築することができる。
  論文  参考訳（メタデータ） (2023-06-20T14:01:29Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• PipeSim: Trace-driven Simulation of Large-Scale AI Operations Platforms [4.060731229044571]
  大規模AIシステムのためのトレース駆動シミュレーションに基づく実験・分析環境を提案する。 IBMが開発したプロダクショングレードAIプラットフォームの分析データは、包括的なシミュレーションモデルを構築するために使用される。 独立して独立したイベントシミュレーターでモデルを実装し、実験を行うためのツールキットを提供する。
  論文  参考訳（メタデータ） (2020-06-22T19:55:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。