論文の概要: FlowMind: Automatic Workflow Generation with LLMs
- arxiv url: http://arxiv.org/abs/2404.13050v1
- Date: Sun, 17 Mar 2024 00:36:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 11:58:46.120532
- Title: FlowMind: Automatic Workflow Generation with LLMs
- Title(参考訳): FlowMind: LLMによるワークフローの自動生成
- Authors: Zhen Zeng, William Watson, Nicole Cho, Saba Rahimi, Shayleen Reynolds, Tucker Balch, Manuela Veloso,
- Abstract要約: 本稿では,Large Language Models(LLM)の機能を活用した新しいアプローチであるFlowMindを紹介する。
信頼性のあるアプリケーションプログラミングインタフェース(API)を用いたLLM推論を支援する講義のための汎用的なプロンプトレシピを提案する。
また、N-CENレポートからの質問応答タスクをベンチマークするための金融の新しいデータセットであるNCEN-QAについても紹介する。
- 参考スコア(独自算出の注目度): 12.848562107014093
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapidly evolving field of Robotic Process Automation (RPA) has made significant strides in automating repetitive processes, yet its effectiveness diminishes in scenarios requiring spontaneous or unpredictable tasks demanded by users. This paper introduces a novel approach, FlowMind, leveraging the capabilities of Large Language Models (LLMs) such as Generative Pretrained Transformer (GPT), to address this limitation and create an automatic workflow generation system. In FlowMind, we propose a generic prompt recipe for a lecture that helps ground LLM reasoning with reliable Application Programming Interfaces (APIs). With this, FlowMind not only mitigates the common issue of hallucinations in LLMs, but also eliminates direct interaction between LLMs and proprietary data or code, thus ensuring the integrity and confidentiality of information - a cornerstone in financial services. FlowMind further simplifies user interaction by presenting high-level descriptions of auto-generated workflows, enabling users to inspect and provide feedback effectively. We also introduce NCEN-QA, a new dataset in finance for benchmarking question-answering tasks from N-CEN reports on funds. We used NCEN-QA to evaluate the performance of workflows generated by FlowMind against baseline and ablation variants of FlowMind. We demonstrate the success of FlowMind, the importance of each component in the proposed lecture recipe, and the effectiveness of user interaction and feedback in FlowMind.
- Abstract(参考訳): ロボットプロセス自動化(RPA)の急速に発展する分野は、反復的なプロセスを自動化するために大きな進歩を遂げてきたが、その効果は、ユーザが要求する自然的または予測不能なタスクを必要とするシナリオにおいて減少している。
本稿では,GPT(Generative Pretrained Transformer)のような大規模言語モデル(LLM)の機能を活用して,この制限に対処し,自動ワークフロー生成システムを構築する,新しいアプローチであるFlowMindを紹介する。
FlowMindでは、信頼性の高いアプリケーションプログラミングインタフェース(API)を用いたLLM推論を支援する講義の一般的なプロンプトレシピを提案する。
これによってFlowMindは、LLMにおける幻覚の一般的な問題を緩和するだけでなく、LLMとプロプライエタリなデータやコードとの直接的な相互作用を排除し、情報の完全性と機密性を保証する。
FlowMindはさらに、自動生成ワークフローの高レベルな説明を提供することで、ユーザインタラクションをさらに単純化し、ユーザが効率的に調査し、フィードバックを提供することができる。
また、N-CENレポートからの質問応答タスクをベンチマークするための金融の新しいデータセットであるNCEN-QAについても紹介する。
NCEN-QAを用いて、FlowMindのベースラインおよびアブレーション変種に対して、FlowMindが生成したワークフローの性能を評価した。
本稿では,FlowMindの成功,提案する講義レシピにおける各コンポーネントの重要性,およびFlowMindにおけるユーザインタラクションとフィードバックの有効性を示す。
関連論文リスト
- Large Language Models for Constructing and Optimizing Machine Learning Workflows: A Survey [3.340984908213717]
複雑なタスクに対処するための効果的な機械学習(ML)を構築することは、Automatic ML(AutoML)コミュニティの主要な焦点である。
最近、MLへのLLM(Large Language Models)の統合は、MLパイプラインのさまざまなステージを自動化し、拡張する大きな可能性を示している。
論文 参考訳(メタデータ) (2024-11-11T21:54:26Z) - WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models [105.46456444315693]
ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。
最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。
LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
論文 参考訳(メタデータ) (2024-11-08T09:58:02Z) - AFlow: Automating Agentic Workflow Generation [36.61172223528231]
大規模言語モデル(LLM)は、様々な領域にわたる複雑なタスクを解く上で、顕著な可能性を示している。
我々は、Monte Carlo Tree Searchを使って、この空間を効率的に探索する自動化フレームワークであるAFlowを紹介します。
6つのベンチマークデータセットに対する実証的な評価は、AFlowの有効性を示し、最先端のベースラインよりも平均5.7%向上している。
論文 参考訳(メタデータ) (2024-10-14T17:40:40Z) - Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。
また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。
我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
論文 参考訳(メタデータ) (2024-10-10T12:41:19Z) - CaLMFlow: Volterra Flow Matching using Causal Language Models [14.035963716966787]
CaLMFlowはVolterra積分方程式(VIE)としてフローマッチングをキャストするフレームワークである
本手法は,空間と時間にまたがるトークン化を実現し,これらの領域上でVIEを解く。
単一セル摂動応答予測を含む合成および実世界のデータに対するCaLMFlowの有効性を実証する。
論文 参考訳(メタデータ) (2024-10-03T05:07:41Z) - ComfyGen: Prompt-Adaptive Workflows for Text-to-Image Generation [87.39861573270173]
本稿では,各ユーザプロンプトに自動的にワークフローをカスタマイズすることを目的とする,プロンプト適応型ワークフロー生成の新しいタスクを紹介する。
本稿では,この課題に対処する2つの LLM ベースの手法を提案する。ユーザ・参照データから学習するチューニングベース手法と,既存のフローを選択するために LLM を使用するトレーニングフリー手法である。
本研究は,現場における既存研究の方向性を補完し,テキスト・画像生成の品質向上のための新たな経路を提供することを示す。
論文 参考訳(メタデータ) (2024-10-02T16:43:24Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-08-15T16:45:16Z) - AutoFlow: Automated Workflow Generation for Large Language Model Agents [39.72700864347576]
大規模言語モデル(LLM)は、複雑な自然言語を理解する上で大きな進歩を見せている。
LLMエージェントが与えられたタスクを解決するための効果的で信頼性の高い手順に従うようにするために、手動で設計されるのが通常である。
複雑なタスクを解決するためにエージェントを自動的に生成するフレームワークであるAutoFlowを提案する。
論文 参考訳(メタデータ) (2024-07-01T21:05:02Z) - TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。
具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。
提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文 参考訳(メタデータ) (2023-11-30T18:02:44Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳(メタデータ) (2021-11-26T18:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。