論文の概要: Efficient Data Generation for Source-grounded Information-seeking Dialogs: A Use Case for Meeting Transcripts

• arxiv url: http://arxiv.org/abs/2405.01121v3
• Date: Tue, 15 Oct 2024 08:48:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 13:59:40.595768
• Title: Efficient Data Generation for Source-grounded Information-seeking Dialogs: A Use Case for Meeting Transcripts
• Title（参考訳）: ソース・グラウンド情報検索ダイアログの効率的なデータ生成:ミーティング・トランスクリプトのユースケース
• Authors: Lotem Golany, Filippo Galgani, Maya Mamo, Nimrod Parasol, Omer Vandsburger, Nadav Bar, Ido Dagan,
• Abstract要約: 本稿では,Large Language Models (LLMs) を用いたソースグラウンド情報検索ダイアログにおけるデータ生成の実現可能性と有効性について検討する。 私たちはMISeD -- Meeting Information Seeking Dialogsデータセットを作ります。 MISeDの微調整は、完全な手動データによる微調整に匹敵する応答生成品質を提供すると同時に、属性品質を改善し、時間と労力を削減する。
• 参考スコア（独自算出の注目度）: 10.829227084902428
• License:
• Abstract: Automating data generation with Large Language Models (LLMs) has become increasingly popular. In this work, we investigate the feasibility and effectiveness of LLM-based data generation in the challenging setting of source-grounded information-seeking dialogs, with response attribution, over long documents. Our source texts consist of long and noisy meeting transcripts, adding to the task complexity. Since automating attribution remains difficult, we propose a semi-automatic approach: dialog queries and responses are generated with LLMs, followed by human verification and identification of attribution spans. Using this approach, we created MISeD -- Meeting Information Seeking Dialogs dataset -- a dataset of information-seeking dialogs focused on meeting transcripts. Models finetuned with MISeD demonstrate superior performance compared to off-the-shelf models, even those of larger size. Finetuning on MISeD gives comparable response generation quality to finetuning on fully manual data, while improving attribution quality and reducing time and effort.
• Abstract（参考訳）: 大規模言語モデル(LLM)によるデータ生成の自動化は、ますます人気が高まっている。 本研究では,LLMに基づくデータ生成の実現可能性と有効性について検討し,長文に対する応答帰属を伴うソースグラウンド情報検索ダイアログの設定に挑戦する。 私たちのソーステキストは、タスクの複雑さを増し、長くて騒々しいミーティングの書き起こしから成り立っている。 自動帰属は依然として困難であるため、ダイアログクエリと応答をLLMで生成し、続いて人間の検証と属性の特定を行う半自動的手法を提案する。 このアプローチを用いて、ミーティングの書き起こしに焦点を当てた情報検索ダイアログのデータセットであるMISeD -- Meeting Information Seeking Dialogsデータセットを作成しました。 MISeDで微調整されたモデルは、市販のモデルよりも、より大きなモデルよりも優れた性能を示す。 MISeDの微調整は、完全な手動データによる微調整に匹敵する応答生成品質を提供すると同時に、属性品質を改善し、時間と労力を削減する。

関連論文リスト

• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Enhancing Dialogue State Tracking Models through LLM-backed User-Agents Simulation [12.93942316816741]
  GPT-4はユーザとエージェントのインタラクションをシミュレートするために使用され、DSTラベルと数千の注釈付き対話を生成する。 生成されたデータとDST予測のための実データとに基づいて、LLaMA2の2段階微調整を行う。 我々のアプローチは、現実世界のシナリオにおける動的な要求に適応し、新しいドメインでの対話を迅速に生成することもできます。
  論文  参考訳（メタデータ） (2024-05-17T07:00:05Z)
• Simulating Task-Oriented Dialogues with State Transition Graphs and Large Language Models [16.94819621353007]
  SynTODは、エンドツーエンドのタスク指向対話(TOD)システムを開発するための新しい合成データ生成手法である。 大規模言語モデルを用いたランダムウォークと応答シミュレーションにより多様な構造化された会話を生成する。 実験では,グラフ誘導応答シミュレーションを用いて意図分類,スロット充填,応答関連性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-04-23T06:23:34Z)
• Controllable and Diverse Data Augmentation with Large Language Model for Low-Resource Open-Domain Dialogue Generation [6.685921135304385]
  LLMを用いたtextbfSummary-based textbfDialogue textbfAugmentationを提案する。 提案手法は,対話要約を計画ツールとして利用することにより,LCMの制御性を向上させる。 要約に基づいて、SDAは小さなシードデータセットであっても、高品質で多様な対話データを生成することができる。
  論文  参考訳（メタデータ） (2024-03-30T13:28:51Z)
• LUCID: LLM-Generated Utterances for Complex and Interesting Dialogues [38.6183579217801]
  バーチャルアシスタントは、対話機能に関して飛躍的に前進する可能性がある。 しかし、真にトランスフォーメーションされたタスク指向の対話機能を実現するための大きなボトルネックは、高品質なデータの不足である。 LUCIDを使用して、100の意図にまたがる4,277の会話のシードデータセットを生成し、その能力を実証しています。
  論文  参考訳（メタデータ） (2024-03-01T11:33:53Z)
• Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
  我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。 我々は、各エージェントに画像の共有と反応の能力を持たせる。 生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
  論文  参考訳（メタデータ） (2024-02-27T18:42:31Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Learning towards Selective Data Augmentation for Dialogue Generation [52.540330534137794]
  すべての事例が増補作業に有益である訳ではなく、増補に適した事例は以下の2つの属性に従うべきであると我々は主張する。 応答生成タスクに対してSDA(Selective Data Augmentation framework)を提案する。
  論文  参考訳（メタデータ） (2023-03-17T01:26:39Z)
• Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding [103.94325597273316]
  本稿では,弱教師付きフィルタを適用して拡張品質を反復する手法を提案する。 我々は、デイリーダイアログにおける感情と行動の分類タスクと、Facebook Multilingual Task-Oriented Dialogueにおける意図の分類タスクについて評価した。 特にDailyDialogでは、真理データの10%を使用して、100%のデータを使用する現在の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2022-10-25T17:01:30Z)
• Paraphrase Augmented Task-Oriented Dialog Generation [68.1790912977053]
  本稿では,パラフレーズモデルと応答生成モデルを協調訓練するパラフレーズ拡張応答生成(PARG)フレームワークを提案する。 また、ダイアログ状態とダイアログアクトラベルに基づいて、パラフレーズトレーニングデータセットを自動構築する手法も設計する。
  論文  参考訳（メタデータ） (2020-04-16T05:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。