論文の概要: HR-MultiWOZ: A Task Oriented Dialogue (TOD) Dataset for HR LLM Agent

• arxiv url: http://arxiv.org/abs/2402.01018v1
• Date: Thu, 1 Feb 2024 21:10:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 17:39:25.307961
• Title: HR-MultiWOZ: A Task Oriented Dialogue (TOD) Dataset for HR LLM Agent
• Title（参考訳）: HR-MultiWOZ: HR LLMエージェントのためのタスク指向対話(TOD)データセット
• Authors: Weijie Xu, Zicheng Huang, Wenxiang Hu, Xi Fang, Rajesh Kumar Cherukuri, Naumaan Nayyar, Lorenzo Malandri, Srinivasan H. Sengamedu
• Abstract要約: 10のHRドメインにまたがる550の会話の完全なラベル付きデータセットであるHR-Multiwozを紹介した。 NLP研究のためのHRドメインにおける最初のラベル付きオープンソースの会話データセットである。 データ解析と人的評価とともに、データ生成手順の詳細なレシピを提供する。
• 参考スコア（独自算出の注目度）: 6.764665650605542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Large Language Models (LLMs) have been reshaping Natural Language Processing (NLP) task in several domains. Their use in the field of Human Resources (HR) has still room for expansions and could be beneficial for several time consuming tasks. Examples such as time-off submissions, medical claims filing, and access requests are noteworthy, but they are by no means the sole instances. However, the aforementioned developments must grapple with the pivotal challenge of constructing a high-quality training dataset. On one hand, most conversation datasets are solving problems for customers not employees. On the other hand, gathering conversations with HR could raise privacy concerns. To solve it, we introduce HR-Multiwoz, a fully-labeled dataset of 550 conversations spanning 10 HR domains to evaluate LLM Agent. Our work has the following contributions: (1) It is the first labeled open-sourced conversation dataset in the HR domain for NLP research. (2) It provides a detailed recipe for the data generation procedure along with data analysis and human evaluations. The data generation pipeline is transferable and can be easily adapted for labeled conversation data generation in other domains. (3) The proposed data-collection pipeline is mostly based on LLMs with minimal human involvement for annotation, which is time and cost-efficient.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、いくつかの領域で自然言語処理(NLP)タスクを再構築している。 人的資源(HR)分野における彼らの利用は、まだ拡張の余地があり、タスクを長時間消費する可能性がある。 タイムオフの申請、医療クレームの提出、アクセス要求といった例は注目に値するが、必ずしも唯一の事例ではない。 しかし、前述の開発は、高品質なトレーニングデータセットを構築するという重要な課題に対処しなければならない。 一方、ほとんどの会話データセットは、従業員ではなく顧客の問題を解決するものだ。 一方、HRと会話を交わすことでプライバシーの懸念が高まる可能性がある。 HR-Multiwozは10のHRドメインにまたがる550の会話の完全なラベル付きデータセットで,LLMエージェントの評価を行う。 1)NLP研究のためのHRドメインにおける最初のラベル付きオープンソースの会話データセットである。 2)データ分析と人的評価とともに,データ生成手順の詳細なレシピを提供する。 データ生成パイプラインは転送可能であり、他のドメインでのラベル付き会話データ生成に容易に適応できる。 (3) 提案したデータ収集パイプラインは,時間と費用効率のよいアノテーションを最小限に抑えたLCMに基づいている。

関連論文リスト

• NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
  我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。 我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。 LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
  論文  参考訳（メタデータ） (2024-11-21T01:37:38Z)
• Synthetic Data Generation with Large Language Models for Personalized Community Question Answering [47.300506002171275]
  既存のデータセットであるSE-PQAに基づいてSy-SE-PQAを構築します。 以上の結果から,LCMはユーザのニーズに合わせてデータを生成する可能性が高いことが示唆された。 合成データは、たとえ生成されたデータが誤った情報を含むとしても、人書きのトレーニングデータを置き換えることができる。
  論文  参考訳（メタデータ） (2024-10-29T16:19:08Z)
• Retrieval-Augmented Personalization for Multimodal Large Language Models [53.304699445700926]
  本稿では,MLLMのパーソナライズのためのRAP(Retrieval Augmented Personalization)フレームワークを紹介する。 RAPは、外部データベースを更新することで、リアルタイムの概念編集を可能にする。 RAP-MLLMは、追加の微調整なしで無限の視覚概念に一般化することができる。
  論文  参考訳（メタデータ） (2024-10-17T09:10:26Z)
• HR-Agent: A Task-Oriented Dialogue (TOD) LLM Agent Tailored for HR Applications [10.383829270485247]
  HR-Agentは、繰り返しHRプロセスの自動化に適した、効率よく、機密性があり、かつ、HR固有のLLMベースのタスク指向対話システムである。 会話データは、推論中にLLMに送信されないため、HR関連のタスクに必要な機密性を保持する。
  論文  参考訳（メタデータ） (2024-10-15T03:51:08Z)
• Integrating Planning into Single-Turn Long-Form Text Generation [66.08871753377055]
  長文コンテンツを生成するための計画案を提案する。 私たちの主な新規性は、複数のプロンプトや計画のラウンドを必要としない単一の補助的なタスクにあります。 実験では,LLMを補助タスクで微調整し,高品質な文書を生成する,異なる領域からの2つのデータセットを実証した。
  論文  参考訳（メタデータ） (2024-10-08T17:02:40Z)
• DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries [0.0]
  OpenAIのGPT-3.5をLanguage Data Scientist(LDS)として評価する このモデルは、さまざまなベンチマークデータセットでテストされ、そのパフォーマンスを複数の標準で評価した。
  論文  参考訳（メタデータ） (2024-03-29T22:59:34Z)
• Retrieval-Augmented Data Augmentation for Low-Resource Domain Tasks [66.87070857705994]
  低リソース環境では、データ拡張に使用するシードデータサンプルの量は極めて少ない。 本稿では、他のデータセットから豊富なサンプルを組み込むことで、トレーニングデータを増強する新しい手法を提案する。 このアプローチは、生成されたデータが関連性だけでなく、限られたシードデータだけで達成できるものよりも多様であることを保証する。
  論文  参考訳（メタデータ） (2024-02-21T02:45:46Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• MK-SQuIT: Synthesizing Questions using Iterative Template-filling [0.0]
  我々は、できるだけ少ない人間の入力で、質問/問い合わせペアを合成的に生成するフレームワークを作成します。 これらのデータセットは、自然言語の質問をクエリに変換するために、機械翻訳システムのトレーニングに使用することができる。
  論文  参考訳（メタデータ） (2020-11-04T22:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。