論文の概要: LLM aided semi-supervision for Extractive Dialog Summarization

• arxiv url: http://arxiv.org/abs/2311.11462v2
• Date: Thu, 23 Nov 2023 12:52:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 01:59:23.423612
• Title: LLM aided semi-supervision for Extractive Dialog Summarization
• Title（参考訳）: 抽出ダイアログ要約のためのLLM支援セミスーパービジョン
• Authors: Nishant Mishra, Gaurav Sahu, Iacer Calixto, Ameen Abu-Hanna, Issam H. Laradji
• Abstract要約: 本稿では,ユーザ・エージェント・ダイアログの抽出要約にラベルのないデータを効率的に利用する手法を提案する。 問合せ問題として要約を行い,言語モデル(LLM)を用いてダイアログの擬似ラベルを生成する。
• 参考スコア（独自算出の注目度）: 8.914696133116546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating high-quality summaries for chat dialogs often requires large labeled datasets. We propose a method to efficiently use unlabeled data for extractive summarization of customer-agent dialogs. In our method, we frame summarization as a question-answering problem and use state-of-the-art large language models (LLMs) to generate pseudo-labels for a dialog. We then use these pseudo-labels to fine-tune a chat summarization model, effectively transferring knowledge from the large LLM into a smaller specialized model. We demonstrate our method on the \tweetsumm dataset, and show that using 10% of the original labelled data set we can achieve 65.9/57.0/61.0 ROUGE-1/-2/-L, whereas the current state-of-the-art trained on the entire training data set obtains 65.16/55.81/64.37 ROUGE-1/-2/-L. In other words, in the worst case (i.e., ROUGE-L) we still effectively retain 94.7% of the performance while using only 10% of the data.
• Abstract（参考訳）: チャットダイアログの高品質な要約を生成するには、しばしば大きなラベル付きデータセットが必要になる。 本研究では,ラベルなしデータを用いてユーザエージェント対話の抽出を効率的に行う手法を提案する。 本手法では,問合せ問題として要約をフレーム化し,現在最先端の大規模言語モデル(LLM)を用いてダイアログの擬似ラベルを生成する。 次に、これらの擬似ラベルを用いてチャット要約モデルを微調整し、大きなLLMからの知識をより小さな特殊モデルに効果的に転送する。 従来のラベル付きデータセットの10%を使って65.9/57.0/61.0 ROUGE-1/-2/Lを達成するのに対し、トレーニングデータセット全体に基づいてトレーニングされた現在の最先端技術は65.16/55.81/64.37 ROUGE-1/-2/Lを得る。 言い換えれば、最悪の場合(ROUGE-L)では、パフォーマンスの94.7%を維持しながら、データの10%しか使用していません。

関連論文リスト

• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Efficient Data Generation for Source-grounded Information-seeking Dialogs: A Use Case for Meeting Transcripts [10.829227084902428]
  本稿では,Large Language Models (LLMs) を用いたソースグラウンド情報検索ダイアログにおけるデータ生成の実現可能性と有効性について検討する。 私たちはMISeD -- Meeting Information Seeking Dialogsデータセットを作ります。 MISeDの微調整は、完全な手動データによる微調整に匹敵する応答生成品質を提供すると同時に、属性品質を改善し、時間と労力を削減する。
  論文  参考訳（メタデータ） (2024-05-02T09:35:06Z)
• LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
  本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。 我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。 LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
  論文  参考訳（メタデータ） (2023-10-30T14:54:15Z)
• BYOC: Personalized Few-Shot Classification with Co-Authored Class Descriptions [2.076173115539025]
  LLMを用いた少数ショットテキスト分類のための新しい手法を提案する。 わずかな例ではなく、LLMは各クラスの健全な特徴を記述して誘導される。 例、質問、回答は、分類プロンプトを形成するために要約される。
  論文  参考訳（メタデータ） (2023-10-09T19:37:38Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)
• Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding [103.94325597273316]
  本稿では,弱教師付きフィルタを適用して拡張品質を反復する手法を提案する。 我々は、デイリーダイアログにおける感情と行動の分類タスクと、Facebook Multilingual Task-Oriented Dialogueにおける意図の分類タスクについて評価した。 特にDailyDialogでは、真理データの10%を使用して、100%のデータを使用する現在の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2022-10-25T17:01:30Z)
• Zero-Shot Dialogue Disentanglement by Self-Supervised Entangled Response Selection [79.37200787463917]
  対話の切り離しは、スレッドへの長大かつ多人数の対話において、発話をグループ化することを目的としている。 これは談話分析や対話応答選択などの下流アプリケーションに有用である。 我々はまず,atextbfzero-shotダイアログ・ディアンタングメント・ソリューションを提案する。
  論文  参考訳（メタデータ） (2021-10-25T05:15:01Z)
• Semi-supervised Interactive Intent Labeling [6.99674326582747]
  SDS開発者向けのインテントバルクラベルシステムを開発しました。 ユーザはラベルのない発話コーパスからのトレーニングデータをインタラクティブにラベル付けし、拡張することができる。 いくつかのデータセットでは,クラスタリング精度が10%以上向上している。
  論文  参考訳（メタデータ） (2021-04-27T18:06:55Z)
• Conditioned Text Generation with Transfer for Closed-Domain Dialogue Systems [65.48663492703557]
  条件付き変分オートエンコーダを用いて,意図特化文の生成を最適に学習し,制御する方法を示す。 クエリ転送と呼ばれる新しいプロトコルを導入し、大規模で遅延のないデータセットを活用できるようにします。
  論文  参考訳（メタデータ） (2020-11-03T14:06:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。