論文の概要: Language Model as an Annotator: Exploring DialoGPT for Dialogue Summarization

• arxiv url: http://arxiv.org/abs/2105.12544v2
• Date: Fri, 28 May 2021 01:34:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 13:56:55.265586
• Title: Language Model as an Annotator: Exploring DialoGPT for Dialogue Summarization
• Title（参考訳）: アノテータとしての言語モデル:対話要約のためのダイアログプの検討
• Authors: Xiachong Feng, Xiaocheng Feng, Libo Qin, Bing Qin, Ting Liu
• Abstract要約: 本稿では,対話応答生成のための事前学習モデルであるDialoGPTを,教師なし対話アノテータとして開発する方法を示す。 ダイアロGPTを用いて、2つの対話要約データセット(SAMSumとAMI)に3種類の特徴をラベル付けし、事前学習モデルと非訓練モデルを用いて要約する。
• 参考スコア（独自算出の注目度）: 29.887562761942114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current dialogue summarization systems usually encode the text with a number of general semantic features (e.g., keywords and topics) to gain more powerful dialogue modeling capabilities. However, these features are obtained via open-domain toolkits that are dialog-agnostic or heavily relied on human annotations. In this paper, we show how DialoGPT, a pre-trained model for conversational response generation, can be developed as an unsupervised dialogue annotator, which takes advantage of dialogue background knowledge encoded in DialoGPT. We apply DialoGPT to label three types of features on two dialogue summarization datasets, SAMSum and AMI, and employ pre-trained and non pre-trained models as our summarizes. Experimental results show that our proposed method can obtain remarkable improvements on both datasets and achieves new state-of-the-art performance on the SAMSum dataset.
• Abstract（参考訳）: 現在の対話要約システムは通常、より強力な対話モデリング機能を得るために、テキストを多くの一般的な意味的特徴(キーワードやトピックなど)でエンコードする。 しかし、これらの機能は、ダイアログに依存しない、あるいは人間のアノテーションに依存するオープンドメインツールキットによって得られる。 本稿では,対話応答生成のための事前学習モデルであるDialoGPTを,対話背景知識を符号化した教師なし対話アノテータとして開発する方法を示す。 ダイアロGPTを用いて、2つの対話要約データセット(SAMSumとAMI)に3種類の特徴をラベル付けし、事前学習モデルと非訓練モデルを用いて要約する。 実験の結果,提案手法は両データセットにおいて著しく改善し,samsumデータセット上で新たな最先端性能を実現することができた。

関連論文リスト

• SPECTRUM: Speaker-Enhanced Pre-Training for Long Dialogue Summarization [48.284512017469524]
  マルチターン対話は、その長さとターンテイクな会話の存在によって特徴づけられる。 伝統的な言語モデルは、しばしばそれらの対話の特徴を通常のテキストとして扱うことによって見落としている。 長文対話要約のための話者強化事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-31T04:50:00Z)
• SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding [68.94808536012371]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。 提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-09-14T13:42:50Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• Learning Locality and Isotropy in Dialogue Modeling [28.743212772593335]
  異方性と対話性のある特徴空間を構築するための単純な対話表現キャリブレーション法,すなわちSimDRCを提案する。 実験の結果,本手法は3つの対話課題における現在の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-05-29T06:48:53Z)
• DialogZoo: Large-Scale Dialog-Oriented Task Learning [52.18193690394549]
  我々は,多種多様な対話課題を解くための統合基盤モデルの構築を目指している。 この目的を達成するために、73の公開データセットから、まず大規模なラベル付き対話データセットを収集する。
  論文  参考訳（メタデータ） (2022-05-25T11:17:16Z)
• Post-Training Dialogue Summarization using Pseudo-Paraphrasing [12.083992819138716]
  本稿では,対話から物語への言い換えとして,事前訓練済み言語モデル(PLM)を提案する。 総合的な実験により,本手法は対話要約におけるバニラPLMを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2022-04-28T13:42:19Z)
• Back to the Future: Bidirectional Information Decoupling Network for Multi-turn Dialogue Modeling [80.51094098799736]
  ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。 BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。 異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
  論文  参考訳（メタデータ） (2022-04-18T03:51:46Z)
• GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection [36.77204909711832]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから,対話ポリシーを明示的に学習する,事前学習型ダイアログモデルを提案する。 具体的には、事前学習中にポリシー最適化のためのダイアログアクト予測タスクを導入し、一貫性の規則化項を用いて、学習した表現を洗練させる。 その結果,GALAXYはタスク指向対話システムの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2021-11-29T15:24:36Z)
• Variational Hierarchical Dialog Autoencoder for Dialog State Tracking Data Augmentation [59.174903564894954]
  本研究では,この手法を,ゴール指向対話のための対話状態追跡タスクに拡張する。 目的指向ダイアログの完全な側面をモデル化するための変分階層型ダイアログオートエンコーダ(VHDA)を提案する。 各種ダイアログデータセットを用いた実験により、生成データ拡張による下流ダイアログトラッカーのロバスト性の向上が示された。
  論文  参考訳（メタデータ） (2020-01-23T15:34:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。