論文の概要: Few-Shot Dialogue Summarization via Skeleton-Assisted Prompt Transfer in Prompt Tuning

• arxiv url: http://arxiv.org/abs/2305.12077v2
• Date: Tue, 27 Feb 2024 02:51:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 22:56:52.921827
• Title: Few-Shot Dialogue Summarization via Skeleton-Assisted Prompt Transfer in Prompt Tuning
• Title（参考訳）: プロンプトチューニングにおけるスケルトン援用プロンプト転送によるマイトショット対話要約
• Authors: Kaige Xie, Tong Yu, Haoliang Wang, Junda Wu, Handong Zhao, Ruiyi Zhang, Kanak Mahadik, Ani Nenkova, Mark Riedl
• Abstract要約: Skeleton-Assisted Prompt Transferは、対話状態追跡から対話要約へのプロンプト転送を改善する。 本稿では,アノテーションやドメイン知識を必要としない摂動型プローブを用いた新しい手法を提案する。 In-deepth analysis is demonstrated the effective of our method in help a cross-task knowledge transfer in few-shot dialogue summarization。
• 参考スコア（独自算出の注目度）: 47.336815771549524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-world scenarios, labeled samples for dialogue summarization are usually limited (i.e., few-shot) due to high annotation costs for high-quality dialogue summaries. To efficiently learn from few-shot samples, previous works have utilized massive annotated data from other downstream tasks and then performed prompt transfer in prompt tuning so as to enable cross-task knowledge transfer. However, existing general-purpose prompt transfer techniques lack consideration for dialogue-specific information. In this paper, we focus on improving the prompt transfer from dialogue state tracking to dialogue summarization and propose Skeleton-Assisted Prompt Transfer (SAPT), which leverages skeleton generation as extra supervision that functions as a medium connecting the distinct source and target task and resulting in the model's better consumption of dialogue state information. To automatically extract dialogue skeletons as supervised training data for skeleton generation, we design a novel approach with perturbation-based probes requiring neither annotation effort nor domain knowledge. Training the model on such skeletons can also help preserve model capability during prompt transfer. Our method significantly outperforms existing baselines. In-depth analyses demonstrate the effectiveness of our method in facilitating cross-task knowledge transfer in few-shot dialogue summarization.
• Abstract（参考訳）: 実世界のシナリオでは、対話要約のためのラベル付きサンプルは通常、高品質な対話要約のための高いアノテーションコストのために制限される。 少数のサンプルから効率的に学習するために、以前の研究では、他の下流タスクからの大量の注釈付きデータを活用し、プロンプトチューニングでプロンプト転送を行い、クロスタスクの知識転送を可能にした。 しかし、既存の汎用的なプロンプト転送技術は、対話特有の情報を考慮していない。 本稿では,対話状態追跡から対話要約への素早い伝達を改善することに着目し,スケルトン生成を個別のソースとターゲットタスクを繋ぐ媒体として機能する余分な監督として活用し,対話状態情報のより優れた消費を実現するためのスケルトン支援プロントランスファー(sapt)を提案する。 骨格生成のための教師付きトレーニングデータとして対話スケルトンを自動的に抽出するために,アノテーションやドメイン知識を必要としない摂動型プローブを用いた新しいアプローチを設計する。 このようなスケルトン上でモデルをトレーニングすることは、即時転送時のモデル能力の維持にも役立ちます。 我々の手法は既存のベースラインを大きく上回る。 本手法は,対話要約におけるタスク間知識伝達の促進に有効であることを示す。

関連論文リスト

• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Continual Dialogue State Tracking via Example-Guided Question Answering [48.31523413835549]
  そこで本研究では,対話状態の追跡を具体化した質問応答タスクのバンドルとして提案する。 我々のアプローチは、サービス固有の記憶を緩和し、与えられた質問や例を文脈化するためのモデルを教える。 類似の対話状態変化のあるターンを識別するために訓練された検索者によって検索されたコンテキスト内例から学習することで,600万のパラメータしか持たないモデルが大きな向上を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T06:15:43Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
  DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。 実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-12-20T06:21:21Z)
• DiSTRICT: Dialogue State Tracking with Retriever Driven In-Context Tuning [7.5700317050237365]
  対話状態追跡(DST)のための一般化可能なインコンテキストチューニング手法であるDiSTRICTを提案する。 DSTRICTは、手作りのテンプレートを使わずにモデルを微調整するために、与えられた対話のための非常に関連性の高いトレーニング例を検索する。 MultiWOZベンチマークデータセットによる実験では、DiSTRICTは、さまざまなゼロショットおよび少数ショット設定において、既存のアプローチよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-12-06T09:40:15Z)
• He Said, She Said: Style Transfer for Shifting the Perspective of Dialogues [75.58367095888914]
  そこで本研究では,対話を非公式な初対人から形式的な第三者に書き換える視点シフト(spective shift)という,新たなスタイル転送タスクを定義した。 サンプルアプリケーションとして,対話要約データセット(SAMSum)への視点シフトの適用により,抽出ニュース要約モデルのゼロショット性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T14:16:07Z)
• Leveraging Non-dialogue Summaries for Dialogue Summarization [1.0742675209112622]
  要約データペアの文書化に変換を適用して,対話の要約に適したトレーニングデータを作成する。 我々は、我々のアプローチを検証するために、英語と韓国語の両方で広範な実験を行っている。
  論文  参考訳（メタデータ） (2022-10-17T23:34:31Z)
• Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
  比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。 提案手法は,複数の公開データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。