論文の概要: TANet: Thread-Aware Pretraining for Abstractive Conversational Summarization

• arxiv url: http://arxiv.org/abs/2204.04504v1
• Date: Sat, 9 Apr 2022 16:08:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 15:53:03.325371
• Title: TANet: Thread-Aware Pretraining for Abstractive Conversational Summarization
• Title（参考訳）: TANet:抽象会話要約のためのスレッド対応事前学習
• Authors: Ze Yang, Liran Wang, Zhoujin Tian, Wei Wu, Zhoujun Li
• Abstract要約: 我々はRedditコミュニティの複数人による議論に基づいて,RCSと呼ばれる大規模(11M)事前学習データセットを構築した。 次に、スレッド対応のTransformerベースのネットワークであるTANetを紹介する。 会話を文の列として扱う既存の事前学習モデルとは異なり、本質的な文脈依存は会話全体を理解する上で重要な役割を担っていると論じる。
• 参考スコア（独自算出の注目度）: 27.185068253347257
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Although pre-trained language models (PLMs) have achieved great success and become a milestone in NLP, abstractive conversational summarization remains a challenging but less studied task. The difficulty lies in two aspects. One is the lack of large-scale conversational summary data. Another is that applying the existing pre-trained models to this task is tricky because of the structural dependence within the conversation and its informal expression, etc. In this work, we first build a large-scale (11M) pretraining dataset called RCS, based on the multi-person discussions in the Reddit community. We then present TANet, a thread-aware Transformer-based network. Unlike the existing pre-trained models that treat a conversation as a sequence of sentences, we argue that the inherent contextual dependency among the utterances plays an essential role in understanding the entire conversation and thus propose two new techniques to incorporate the structural information into our model. The first is thread-aware attention which is computed by taking into account the contextual dependency within utterances. Second, we apply thread prediction loss to predict the relations between utterances. We evaluate our model on four datasets of real conversations, covering types of meeting transcripts, customer-service records, and forum threads. Experimental results demonstrate that TANET achieves a new state-of-the-art in terms of both automatic evaluation and human judgment.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、NLPにおいて大きな成功を収め、マイルストーンとなったが、抽象的な会話の要約は難しいが、研究の少ない課題である。 その難しさは二つの側面にある。 ひとつは、大規模な会話要約データがないことだ。 このタスクに既存の事前学習モデルを適用するのは、会話の構造的依存や非公式な表現などのために難しい。 本研究ではまず,Redditコミュニティの多人数ディスカッションに基づいて,RCSと呼ばれる大規模(11M)事前学習データセットを構築した。 次に,スレッド対応トランスフォーマーネットワークTANetを提案する。 会話を文列として扱う既存の事前学習モデルとは異なり、発話間の固有の文脈依存は会話全体を理解する上で不可欠な役割を担っており、このモデルに構造情報を組み込むための2つの新しい手法を提案する。 1つ目はスレッド認識注意であり、発話内の文脈依存性を考慮して計算される。 第2に,スレッド予測損失を適用し,発話間の関係を予測する。 我々は、実際の会話の4つのデータセット、会議記録、顧客サービス記録、フォーラムスレッドのタイプについてモデルを評価した。 実験結果から,TANETは自動評価と人的判断の両面で,新たな最先端技術を実現していることが示された。

関連論文リスト

• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Conversation Disentanglement with Bi-Level Contrastive Learning [26.707584899718288]
  既存の手法には2つの主な欠点がある。まず、ペアの発話関係を過度に強調するが、発話-文脈関係モデルに不適切な注意を払う。 本稿では,2段階のコントラスト学習に基づく一般的な不協和モデルを提案する。このモデルでは,同一セッションに近づき,各発話が表現空間内のクラスタ化されたセッションプロトタイプに近づくように促す。
  論文  参考訳（メタデータ） (2022-10-27T08:41:46Z)
• OPAL: Ontology-Aware Pretrained Language Model for End-to-End Task-Oriented Dialogue [40.62090743056549]
  本稿では、エンドツーエンドタスク指向対話(TOD)のためのオントロジー対応事前学習言語モデル(OPAL)を提案する。 チャット型対話モデルとは異なり、タスク指向対話モデルは少なくとも2つのタスク固有モジュールを満たす:対話状態トラッカー(DST)と応答生成器(RG)。
  論文  参考訳（メタデータ） (2022-09-10T04:38:27Z)
• Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations [22.894541507068933]
  本稿では,DSTC-10の音声対話課題における知識ベースタスク指向対話モデリングのための一般化モデルの構築について述べる。 我々は,人工誤り注入やラウンドトリップ音声変換など,手書きデータに対する広範なデータ拡張戦略を採用している。 本手法は, 客観的評価では3位, 最終公式評価では2位である。
  論文  参考訳（メタデータ） (2022-03-08T12:26:57Z)
• ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive Summarization with Argument Mining [61.82562838486632]
  我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。 我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
  論文  参考訳（メタデータ） (2021-06-01T22:17:13Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Multi-View Sequence-to-Sequence Models with Conversational Structure for Abstractive Dialogue Summarization [72.54873655114844]
  テキスト要約は、NLPにおいて最も困難で興味深い問題の1つである。 本研究では、まず、異なる視点から構造化されていない日々のチャットの会話構造を抽出し、会話を表現するマルチビューシーケンス・ツー・シーケンスモデルを提案する。 大規模対話要約コーパスの実験により,本手法は,自動評価と人的判断の両面から,従来の最先端モデルよりも有意に優れた性能を示した。
  論文  参考訳（メタデータ） (2020-10-04T20:12:44Z)
• A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining [52.11221075687124]
  本稿では,会議シナリオに適応する抽象的要約ネットワークを提案する。 提案手法は,長時間の会議記録に対応する階層構造と,話者間の差異を表現する役割ベクトルを設計する。 我々のモデルは、自動測定と人的評価の両方において、過去のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2020-04-04T21:00:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。