論文の概要: Turning Conversations into Workflows: A Framework to Extract and Evaluate Dialog Workflows for Service AI Agents

• arxiv url: http://arxiv.org/abs/2502.17321v1
• Date: Mon, 24 Feb 2025 16:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:55:06.249602
• Title: Turning Conversations into Workflows: A Framework to Extract and Evaluate Dialog Workflows for Service AI Agents
• Title（参考訳）: 会話をワークフローに変える - サービスAIエージェントのためのダイアログワークフローの抽出と評価のためのフレームワーク
• Authors: Prafulla Kumar Choubey, Xiangyu Peng, Shilpa Bhagavath, Caiming Xiong, Shiva Kumar Pentyala, Chien-Sheng Wu,
• Abstract要約: 本稿では,過去の対話から対話を抽出し,評価するための新しい枠組みを提案する。 抽出プロセスは,(1)重要な手続き的要素に基づいて関連する会話を選択するための検索ステップ,(2)質問応答に基づくチェーン・オブ・シークレット(QA-CoT)プロンプトを用いた構造化ワークフロー生成プロセスの2つの主要な段階から構成される。
• 参考スコア（独自算出の注目度）: 65.36060818857109
• License:
• Abstract: Automated service agents require well-structured workflows to provide consistent and accurate responses to customer queries. However, these workflows are often undocumented, and their automatic extraction from conversations remains unexplored. In this work, we present a novel framework for extracting and evaluating dialog workflows from historical interactions. Our extraction process consists of two key stages: (1) a retrieval step to select relevant conversations based on key procedural elements, and (2) a structured workflow generation process using a question-answer-based chain-of-thought (QA-CoT) prompting. To comprehensively assess the quality of extracted workflows, we introduce an automated agent and customer bots simulation framework that measures their effectiveness in resolving customer issues. Extensive experiments on the ABCD and SynthABCD datasets demonstrate that our QA-CoT technique improves workflow extraction by 12.16\% in average macro accuracy over the baseline. Moreover, our evaluation method closely aligns with human assessments, providing a reliable and scalable framework for future research.
• Abstract（参考訳）: 自動サービスエージェントは、顧客クエリに対する一貫性と正確な応答を提供するために、十分に構造化されたワークフローを必要とする。 しかし、これらのワークフローは文書化されておらず、会話から自動的に抽出される。 本研究では,過去の対話から対話ワークフローを抽出し,評価するための新しいフレームワークを提案する。 抽出プロセスは,(1)重要な手続き的要素に基づいて関連する会話を選択するための検索ステップ,(2)質問応答に基づくチェーン・オブ・シークレット(QA-CoT)プロンプトを用いた構造化ワークフロー生成プロセスの2つの主要な段階から構成される。 抽出されたワークフローの品質を総合的に評価するために,顧客問題の解決に有効な自動エージェントと顧客ボットシミュレーションフレームワークを導入する。 ABCDおよびSynthABCDデータセットの大規模な実験により、我々のQA-CoT技術はベースライン平均マクロ精度を12.16\%向上することを示した。 さらに,評価手法は人間の評価と密接に一致し,将来的な研究のための信頼性とスケーラブルな枠組みを提供する。

関連論文リスト

• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• LatteReview: A Multi-Agent Framework for Systematic Review Automation Using Large Language Models [0.0]
  LatteReviewはPythonベースのフレームワークで、大規模言語モデル(LLM)とマルチエージェントシステムを活用して、体系的なレビュープロセスの重要な要素を自動化する。 このフレームワークは、外部コンテキストを組み込むRetrieval-Augmented Generation (RAG)、マルチモーダルレビュー、構造化された入力と出力に対するPydanticベースの検証、大規模データセットを扱う非同期プログラミングなどの機能をサポートしている。
  論文  参考訳（メタデータ） (2025-01-05T17:53:00Z)
• ComfyGen: Prompt-Adaptive Workflows for Text-to-Image Generation [87.39861573270173]
  本稿では,各ユーザプロンプトに自動的にワークフローをカスタマイズすることを目的とする,プロンプト適応型ワークフロー生成の新しいタスクを紹介する。 本稿では,この課題に対処する2つの LLM ベースの手法を提案する。ユーザ・参照データから学習するチューニングベース手法と,既存のフローを選択するために LLM を使用するトレーニングフリー手法である。 本研究は,現場における既存研究の方向性を補完し,テキスト・画像生成の品質向上のための新たな経路を提供することを示す。
  論文  参考訳（メタデータ） (2024-10-02T16:43:24Z)
• FlowMind: Automatic Workflow Generation with LLMs [12.848562107014093]
  本稿では,Large Language Models(LLM)の機能を活用した新しいアプローチであるFlowMindを紹介する。 信頼性のあるアプリケーションプログラミングインタフェース(API)を用いたLLM推論を支援する講義のための汎用的なプロンプトレシピを提案する。 また、N-CENレポートからの質問応答タスクをベンチマークするための金融の新しいデータセットであるNCEN-QAについても紹介する。
  論文  参考訳（メタデータ） (2024-03-17T00:36:37Z)
• The Foundations of Computational Management: A Systematic Approach to Task Automation for the Integration of Artificial Intelligence into Existing Workflows [55.2480439325792]
  本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。 この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
  論文  参考訳（メタデータ） (2024-02-07T01:45:14Z)
• Workflow-Guided Response Generation for Task-Oriented Dialogue [4.440232673676693]
  ワークフローに整合した対話応答を生成するための強化学習(RL)に基づく新しいフレームワークを提案する。 私たちのフレームワークは、生成されたレスポンスが指定されたアクションをどれだけうまく実行するかを評価するために設計されたメトリクスであるComplianceScorerで構成されています。 以上の結果から,我々のRLベースのフレームワークは,ベースラインよりも優れており,自然かつ流動的な表現をしながら,意図した応答に順応する上で有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-14T16:44:33Z)
• Leveraging Explicit Procedural Instructions for Data-Efficient Action Prediction [5.448684866061922]
  タスク指向の対話は、しばしばエージェントがユーザ要求を満たすために複雑で多段階の手順を実行する必要がある。 大規模言語モデルは、制約のある環境でこれらの対話を自動化することに成功したが、その広範な展開は、トレーニングに必要なタスク固有の大量のデータによって制限されている。 本稿では,エージェントガイドラインから導出した明示的な指示を利用して対話システムを構築するための,データ効率のよいソリューションを提案する。
  論文  参考訳（メタデータ） (2023-06-06T18:42:08Z)
• Workflow Discovery from Dialogues in the Low Data Regime [13.14503978966984]
  本研究では,Action Based Conversationsデータセットの対話を条件付きで要約する実験を行う。 本稿では、許容可能なアクションステップのセットに基づいてモデルを記述するアプローチを提案し、評価する。 また、学習したモデルを全く新しいドメインに転送する場合、ゼロショットや少数ショットのWD性能も向上する。
  論文  参考訳（メタデータ） (2022-05-24T01:12:03Z)
• Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data Programming [77.38174112525168]
  私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
  論文  参考訳（メタデータ） (2022-03-02T19:57:32Z)
• Tradeoffs in Sentence Selection Techniques for Open-Domain Question Answering [54.541952928070344]
  文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。 非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
  論文  参考訳（メタデータ） (2020-09-18T23:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。