論文の概要: WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models

• arxiv url: http://arxiv.org/abs/2411.05451v1
• Date: Fri, 08 Nov 2024 09:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:56:13.986916
• Title: WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models
• Title（参考訳）: WorkflowLLM: 大規模言語モデルのワークフローオーケストレーション機能強化
• Authors: Shengda Fan, Xin Cong, Yuepeng Fu, Zhong Zhang, Shuyan Zhang, Yuanwei Liu, Yesai Wu, Yankai Lin, Zhiyuan Liu, Maosong Sun,
• Abstract要約: ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。 最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。 LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
• 参考スコア（独自算出の注目度）: 105.46456444315693
• License:
• Abstract: Recent advancements in large language models (LLMs) have driven a revolutionary paradigm shift in process automation from Robotic Process Automation to Agentic Process Automation by automating the workflow orchestration procedure based on LLMs. However, existing LLMs (even the advanced OpenAI GPT-4o) are confined to achieving satisfactory capability in workflow orchestration. To address this limitation, we present WorkflowLLM, a data-centric framework elaborately designed to enhance the capability of LLMs in workflow orchestration. It first constructs a large-scale fine-tuning dataset WorkflowBench with 106,763 samples, covering 1,503 APIs from 83 applications across 28 categories. Specifically, the construction process can be divided into three phases: (1) Data Collection: we collect real-world workflow data from Apple Shortcuts and RoutineHub, transcribing them into Python-style code. We further equip them with generated hierarchical thought via ChatGPT. (2) Query Expansion: we prompt ChatGPT to generate more task queries to enrich the diversity and complexity of workflows. (3) Workflow Generation: we leverage an annotator model trained on collected data to generate workflows for synthesized queries. Finally, we merge the synthetic samples that pass quality confirmation with the collected samples to obtain the WorkflowBench. Based on WorkflowBench, we fine-tune Llama-3.1-8B to obtain WorkflowLlama. Our experiments show that WorkflowLlama demonstrates a strong capacity to orchestrate complex workflows, while also achieving notable generalization performance on previously unseen APIs. Additionally, WorkflowBench exhibits robust zero-shot generalization capabilities on an out-of-distribution task planning dataset, T-Eval. Our data and code are available at https://github.com/OpenBMB/WorkflowLLM.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、LLMに基づいたワークフローオーケストレーション手順を自動化することによって、ロボットプロセス自動化からエージェントプロセス自動化へ、プロセス自動化の革命的なパラダイムシフトを引き起こした。 しかし、既存のLLM(高度なOpenAI GPT-4oでさえ)はワークフローオーケストレーションで満足できる能力に限られている。 この制限に対処するために、ワークフローオーケストレーションにおけるLLMの機能を強化するために、精巧に設計されたデータ中心のフレームワークであるWorkflowLLMを紹介します。 まず、大規模な微調整データセットWorkflowBenchを106,763のサンプルで構築し、28カテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。 データ収集: Apple Shortcuts と RoutineHub から現実のワークフローデータを収集し、それらを Python スタイルのコードに書き起こす。 さらに、ChatGPTを介して生成された階層的思考を装備する。 2) クエリ拡張: ワークフローの多様性と複雑さを強化するために、ChatGPTにより多くのタスククエリを生成するように促します。 (3)ワークフロー生成: 収集データに基づいてトレーニングされたアノテータモデルを利用して、合成クエリのワークフローを生成する。 最後に、収集したサンプルの品質確認をパスする合成サンプルをマージし、WorkflowBenchを得る。 WorkflowBenchをベースにLlama-3.1-8Bを微調整してWorkflowLlamaを得る。 実験の結果、WorkflowLlamaは複雑なワークフローをオーケストレーションする強力な能力を示しつつ、これまで見つからなかったAPI上での顕著な一般化性能を実現しています。 さらにWorkflowBenchは、配布外のタスク計画データセットであるT-Eval上で、堅牢なゼロショットの一般化機能を示している。 私たちのデータとコードはhttps://github.com/OpenBMB/WorkflowLLM.orgで公開されています。

関連論文リスト

• AFlow: Automating Agentic Workflow Generation [36.61172223528231]
  大規模言語モデル(LLM)は、様々な領域にわたる複雑なタスクを解く上で、顕著な可能性を示している。 我々は、Monte Carlo Tree Searchを使って、この空間を効率的に探索する自動化フレームワークであるAFlowを紹介します。 6つのベンチマークデータセットに対する実証的な評価は、AFlowの有効性を示し、最先端のベースラインよりも平均5.7%向上している。
  論文  参考訳（メタデータ） (2024-10-14T17:40:40Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• ComfyGen: Prompt-Adaptive Workflows for Text-to-Image Generation [87.39861573270173]
  本稿では,各ユーザプロンプトに自動的にワークフローをカスタマイズすることを目的とする,プロンプト適応型ワークフロー生成の新しいタスクを紹介する。 本稿では,この課題に対処する2つの LLM ベースの手法を提案する。ユーザ・参照データから学習するチューニングベース手法と,既存のフローを選択するために LLM を使用するトレーニングフリー手法である。 本研究は,現場における既存研究の方向性を補完し,テキスト・画像生成の品質向上のための新たな経路を提供することを示す。
  論文  参考訳（メタデータ） (2024-10-02T16:43:24Z)
• GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI [64.57616646552869]
  本稿では、モデル、データソース、パイプラインを統合し、複雑で多様なタスクを解決するためにパフォーマンスを向上させるために使用される協調AIシステムについて検討する。 我々は、LLMベースのフレームワークであるGenAgentを紹介した。 その結果、GenAgentは実行レベルおよびタスクレベルの評価においてベースラインアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-02T17:44:10Z)
• Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
  我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。 Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。 これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
  論文  参考訳（メタデータ） (2024-07-15T17:54:37Z)
• AutoFlow: Automated Workflow Generation for Large Language Model Agents [39.72700864347576]
  大規模言語モデル(LLM)は、複雑な自然言語を理解する上で大きな進歩を見せている。 LLMエージェントが与えられたタスクを解決するための効果的で信頼性の高い手順に従うようにするために、手動で設計されるのが通常である。 複雑なタスクを解決するためにエージェントを自動的に生成するフレームワークであるAutoFlowを提案する。
  論文  参考訳（メタデータ） (2024-07-01T21:05:02Z)
• Couler: Unified Machine Learning Workflow Optimization in Cloud [6.769259207650922]
  Coulerは、クラウドにおけるMLワークフローの統一最適化のために設計されたシステムである。 大規模言語モデル(LLM)をワークフロー生成に統合し、さまざまなワークフローエンジンに統一されたプログラミングインターフェースを提供する。 Couerは、CPU/メモリ使用率を15%以上改善し、ワークフロー完了率を約17%向上させた。
  論文  参考訳（メタデータ） (2024-03-12T12:47:32Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。