論文の概要: DialogLM: Pre-trained Model for Long Dialogue Understanding and Summarization

• arxiv url: http://arxiv.org/abs/2109.02492v1
• Date: Mon, 6 Sep 2021 13:55:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-07 16:42:58.535859
• Title: DialogLM: Pre-trained Model for Long Dialogue Understanding and Summarization
• Title（参考訳）: DialogLM:Long Dialogue Understanding and Summarizationのための事前学習モデル
• Authors: Ming Zhong, Yang Liu, Yichong Xu, Chenguang Zhu, Michael Zeng
• Abstract要約: 本稿では,長い対話理解と要約のための事前学習フレームワークを提案する。 長い会話の性質を考慮し、生成前学習のためのウィンドウベースの認知的アプローチを提案する。 我々は,対話要約,抽象的質問応答,トピックセグメンテーションのタスクをカバーする,長文対話の5つのデータセットについて広範な実験を行った。
• 参考スコア（独自算出の注目度）: 19.918194137007653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dialogue is an essential part of human communication and cooperation. Existing research mainly focuses on short dialogue scenarios in a one-on-one fashion. However, multi-person interactions in the real world, such as meetings or interviews, are frequently over a few thousand words. There is still a lack of corresponding research and powerful tools to understand and process such long dialogues. Therefore, in this work, we present a pre-training framework for long dialogue understanding and summarization. Considering the nature of long conversations, we propose a window-based denoising approach for generative pre-training. For a dialogue, it corrupts a window of text with dialogue-inspired noise, and guides the model to reconstruct this window based on the content of the remaining conversation. Furthermore, to process longer input, we augment the model with sparse attention which is combined with conventional attention in a hybrid manner. We conduct extensive experiments on five datasets of long dialogues, covering tasks of dialogue summarization, abstractive question answering and topic segmentation. Experimentally, we show that our pre-trained model DialogLM significantly surpasses the state-of-the-art models across datasets and tasks.
• Abstract（参考訳）: 対話は人間のコミュニケーションと協力の重要な部分である。 既存の研究は主に1対1で短い対話シナリオに焦点を当てている。 しかし、ミーティングやインタビューのような現実世界における多人数の対話はしばしば数千語以上である。 そのような長い対話を理解し、処理するための、対応する研究と強力なツールがまだ欠けている。 そこで本研究では,長い対話理解と要約のための事前学習フレームワークを提案する。 長文会話の性質を考慮し,生成前学習のためのウィンドウに基づく弁別手法を提案する。 対話の場合、対話に触発された雑音を伴うテキストのウィンドウを腐敗させ、残りの会話の内容に基づいてこのウィンドウを再構築するようにモデルを誘導する。 さらに、より長い入力を処理するために、従来の注意とハイブリッドな方法で組み合わされた、少ない注意でモデルを補強する。 長い対話の5つのデータセットについて広範な実験を行い,対話要約,抽象的質問応答,トピックセグメンテーションのタスクをカバーする。 実験では,事前学習したモデルダイアログが,データセットとタスクをまたいだ最先端モデルを大幅に上回っていることを示す。

関連論文リスト

• Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation [55.043492250775294]
  本稿では,新しい対面音声対話モデルを提案する。 ユーザ入力から音声視覚音声を処理し、応答として音声視覚音声を生成する。 また,最初の大規模マルチモーダル音声対話コーパスであるMultiDialogを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T04:48:36Z)
• Conversation Chronicles: Towards Diverse Temporal and Relational Dynamics in Multi-Session Conversations [9.249662593315541]
  我々は,長期会話設定を実装するために,新たに100万件の多セッション対話データセットであるConversation Chroniclesを導入する。 会話年代記の対話エピソードは、一貫性と一貫した相互作用を維持しながら、それらの特性を反映していることを示す。 また、時系列要約と対話生成モジュールで構成されるReBotと呼ばれる対話モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-20T11:06:21Z)
• Multi-turn Dialogue Comprehension from a Topic-aware Perspective [70.37126956655985]
  本稿では,話題認識の観点から,マルチターン対話をモデル化することを提案する。 対話文のセグメント化アルゴリズムを用いて、対話文を教師なしの方法でトピック集中フラグメントに分割する。 また,トピックセグメントを処理要素として扱う新しいモデルとして,トピック認識デュアルアテンションマッチング(TADAM)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-09-18T11:03:55Z)
• STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension [42.57581945778631]
  抽象的な対話要約は、自然言語処理における重要なスタンドアロンタスクとみなされてきた。 本稿では,新たな対話要約タスクであるSTRUctured DiaLoguE Summarizationを提案する。 変換器エンコーダ言語モデルの対話理解性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-24T04:39:54Z)
• A Benchmark for Understanding and Generating Dialogue between Characters in Stories [75.29466820496913]
  本研究は,機械が物語の対話を理解・生成できるかどうかを探求する最初の研究である。 マスク付き対話生成と対話話者認識という2つの新しいタスクを提案する。 DialStoryの自動評価と手動評価で既存のモデルをテストすることで,提案課題の難しさを示す。
  論文  参考訳（メタデータ） (2022-09-18T10:19:04Z)
• Structural Modeling for Dialogue Disentanglement [43.352833140317486]
  マルチパーティ対話コンテキスト マルチパーティ対話コンテキストは、対話読解の課題に繋がる。 本研究は,対話構造の特徴を考慮に入れて,複数パーティ履歴をスレッドにアンタングルする新しいモデルを設計する。
  論文  参考訳（メタデータ） (2021-10-15T11:28:43Z)
• Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
  自然言語を理解し、人間と対話するための訓練機械は、人工知能の解明と本質的なタスクである。 本稿では,対話理解タスクにおける対話モデリングの技術的視点から,過去の手法を概観する。 さらに,対話シナリオにおけるPrLMの強化に使用される対話関連事前学習手法を分類する。
  論文  参考訳（メタデータ） (2021-10-11T03:52:37Z)
• "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
  本研究は、音声タスク指向会話における新しいベンチマークを示す。 マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。 我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
  論文  参考訳（メタデータ） (2021-09-28T04:51:04Z)
• Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
  対話モデリングの観点から,従来の手法を検討した。 対話理解タスクで広く使用されている対話モデリングの3つの典型的なパターンについて議論します。
  論文  参考訳（メタデータ） (2021-03-04T15:50:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。