論文の概要: HR-MultiWOZ: A Task Oriented Dialogue (TOD) Dataset for HR LLM Agent
- arxiv url: http://arxiv.org/abs/2402.01018v1
- Date: Thu, 1 Feb 2024 21:10:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 17:39:25.307961
- Title: HR-MultiWOZ: A Task Oriented Dialogue (TOD) Dataset for HR LLM Agent
- Title(参考訳): HR-MultiWOZ: HR LLMエージェントのためのタスク指向対話(TOD)データセット
- Authors: Weijie Xu, Zicheng Huang, Wenxiang Hu, Xi Fang, Rajesh Kumar
Cherukuri, Naumaan Nayyar, Lorenzo Malandri, Srinivasan H. Sengamedu
- Abstract要約: 10のHRドメインにまたがる550の会話の完全なラベル付きデータセットであるHR-Multiwozを紹介した。
NLP研究のためのHRドメインにおける最初のラベル付きオープンソースの会話データセットである。
データ解析と人的評価とともに、データ生成手順の詳細なレシピを提供する。
- 参考スコア(独自算出の注目度): 6.764665650605542
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in Large Language Models (LLMs) have been reshaping
Natural Language Processing (NLP) task in several domains. Their use in the
field of Human Resources (HR) has still room for expansions and could be
beneficial for several time consuming tasks. Examples such as time-off
submissions, medical claims filing, and access requests are noteworthy, but
they are by no means the sole instances. However, the aforementioned
developments must grapple with the pivotal challenge of constructing a
high-quality training dataset. On one hand, most conversation datasets are
solving problems for customers not employees. On the other hand, gathering
conversations with HR could raise privacy concerns. To solve it, we introduce
HR-Multiwoz, a fully-labeled dataset of 550 conversations spanning 10 HR
domains to evaluate LLM Agent. Our work has the following contributions: (1) It
is the first labeled open-sourced conversation dataset in the HR domain for NLP
research. (2) It provides a detailed recipe for the data generation procedure
along with data analysis and human evaluations. The data generation pipeline is
transferable and can be easily adapted for labeled conversation data generation
in other domains. (3) The proposed data-collection pipeline is mostly based on
LLMs with minimal human involvement for annotation, which is time and
cost-efficient.
- Abstract(参考訳): 大規模言語モデル(LLM)の最近の進歩は、いくつかの領域で自然言語処理(NLP)タスクを再構築している。
人的資源(HR)分野における彼らの利用は、まだ拡張の余地があり、タスクを長時間消費する可能性がある。
タイムオフの申請、医療クレームの提出、アクセス要求といった例は注目に値するが、必ずしも唯一の事例ではない。
しかし、前述の開発は、高品質なトレーニングデータセットを構築するという重要な課題に対処しなければならない。
一方、ほとんどの会話データセットは、従業員ではなく顧客の問題を解決するものだ。
一方、HRと会話を交わすことでプライバシーの懸念が高まる可能性がある。
HR-Multiwozは10のHRドメインにまたがる550の会話の完全なラベル付きデータセットで,LLMエージェントの評価を行う。
1)NLP研究のためのHRドメインにおける最初のラベル付きオープンソースの会話データセットである。
2)データ分析と人的評価とともに,データ生成手順の詳細なレシピを提供する。
データ生成パイプラインは転送可能であり、他のドメインでのラベル付き会話データ生成に容易に適応できる。
(3) 提案したデータ収集パイプラインは,時間と費用効率のよいアノテーションを最小限に抑えたLCMに基づいている。
関連論文リスト
- Retrieval-Augmented Data Augmentation for Low-Resource Domain Tasks [66.87070857705994]
低リソース環境では、データ拡張に使用するシードデータサンプルの量は極めて少ない。
本稿では、他のデータセットから豊富なサンプルを組み込むことで、トレーニングデータを増強する新しい手法を提案する。
このアプローチは、生成されたデータが関連性だけでなく、限られたシードデータだけで達成できるものよりも多様であることを保証する。
論文 参考訳(メタデータ) (2024-02-21T02:45:46Z) - PersonalityChat: Conversation Distillation for Personalized Dialog
Modeling with Facts and Traits [5.447308344436046]
PersonalityChatは、人気のPersonaChatデータセットに基づいた合成会話データセットである。
生成対話モデルの特質に基づくパーソナライズには,性格特性ラベルが有効であることを示す。
論文 参考訳(メタデータ) (2024-01-14T20:35:33Z) - A Self-enhancement Approach for Domain-specific Chatbot Training via
Knowledge Mining and Digest [62.63606958140248]
大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。
本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。
我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
論文 参考訳(メタデータ) (2023-11-17T16:09:10Z) - Leveraging LLMs for Synthesizing Training Data Across Many Languages in
Multilingual Dense Retrieval [55.926286265584565]
SWIM-IRは, 人間の監督を必要とせずに多言語密集検索モデルを訓練するための33言語を含む合成検索訓練データセットである。
XOR-Retrieve (cross-lingual)、XTREME-UP (cross-lingual)、MIRACL (monolingual)の3つの検索ベンチマークを用いて、多言語高密度検索モデルの合成微調整について検討する。
論文 参考訳(メタデータ) (2023-11-10T00:17:10Z) - HAGRID: A Human-LLM Collaborative Dataset for Generative
Information-Seeking with Attribution [46.41448772928026]
本稿では,Human-in-the-loop Attributable Generative Retrieval for Information-seeking dataset(Human-in-the-loop Attributable Generative Retrieval for Information-seeking dataset)を提案する。
ブラックボックスプロプライエタリな検索エンジンに焦点を当てた最近の取り組みとは異なり、私たちはMIRACLの英語サブセットの上にデータセットを構築しました。
論文 参考訳(メタデータ) (2023-07-31T17:49:18Z) - STAR: Boosting Low-Resource Information Extraction by Structure-to-Text
Data Generation with Large Language Models [56.27786433792638]
STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。
我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。
実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-05-24T12:15:19Z) - HumSet: Dataset of Multilingual Information Extraction and
Classification for Humanitarian Crisis Response [5.057850174013127]
HumSetは、人道的応答コミュニティの専門家によって注釈された人道的応答文書の新しい多言語データセットである。
このデータセットは3つの言語(英語、フランス語、スペイン語)で文書を提供し、2018年から2021年までのさまざまな人道的危機をカバーしている。
HumSetはまた、新規で挑戦的なエントリ抽出とマルチラベルエントリ分類タスクも提供する。
論文 参考訳(メタデータ) (2022-10-10T11:28:07Z) - ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational
Finance Question Answering [70.6359636116848]
本稿では,対話型質問応答における数値推論の連鎖を研究するために,新しい大規模データセットConvFinQAを提案する。
我々のデータセットは、現実世界の会話において、長距離で複雑な数値推論パスをモデル化する上で大きな課題となる。
論文 参考訳(メタデータ) (2022-10-07T23:48:50Z) - Intermediate Training on Question Answering Datasets Improves Generative
Data Augmentation [32.83012699501051]
我々は、コンテキスト生成タスクとしてデータ生成を定式化することにより、生成データ拡張を改善する。
ダウンストリームタスクを質問応答形式に投入し、微調整されたコンテキストジェネレータをターゲットタスク領域に適応させる。
少数ショット、ゼロショット設定で、パフォーマンスが大幅に改善されたことを実証します。
論文 参考訳(メタデータ) (2022-05-25T09:28:21Z) - Unsupervised Domain Adaptive Learning via Synthetic Data for Person
Re-identification [101.1886788396803]
人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。
残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。
本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
論文 参考訳(メタデータ) (2021-09-12T15:51:41Z) - MK-SQuIT: Synthesizing Questions using Iterative Template-filling [0.0]
我々は、できるだけ少ない人間の入力で、質問/問い合わせペアを合成的に生成するフレームワークを作成します。
これらのデータセットは、自然言語の質問をクエリに変換するために、機械翻訳システムのトレーニングに使用することができる。
論文 参考訳(メタデータ) (2020-11-04T22:33:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。