論文の概要: Enhancing Semantic Understanding with Self-supervised Methods for Abstractive Dialogue Summarization

• arxiv url: http://arxiv.org/abs/2209.00278v1
• Date: Thu, 1 Sep 2022 07:51:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 13:21:35.156476
• Title: Enhancing Semantic Understanding with Self-supervised Methods for Abstractive Dialogue Summarization
• Title（参考訳）: 抽象対話要約のための自己教師あり手法による意味理解の強化
• Authors: Hyunjae Lee, Jaewoong Yun, Hyunjin Choi, Seongho Joe, Youngjune L. Gwon
• Abstract要約: 本稿では,対話要約モデルを訓練するための欠点を補う自己教師型手法を提案する。 我々の原理は,対話文表現の文脈化能力を高めるために,前文対話文を用いて不整合情報の流れを検出することである。
• 参考スコア（独自算出の注目度）: 4.226093500082746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contextualized word embeddings can lead to state-of-the-art performances in natural language understanding. Recently, a pre-trained deep contextualized text encoder such as BERT has shown its potential in improving natural language tasks including abstractive summarization. Existing approaches in dialogue summarization focus on incorporating a large language model into summarization task trained on large-scale corpora consisting of news articles rather than dialogues of multiple speakers. In this paper, we introduce self-supervised methods to compensate shortcomings to train a dialogue summarization model. Our principle is to detect incoherent information flows using pretext dialogue text to enhance BERT's ability to contextualize the dialogue text representations. We build and fine-tune an abstractive dialogue summarization model on a shared encoder-decoder architecture using the enhanced BERT. We empirically evaluate our abstractive dialogue summarizer with the SAMSum corpus, a recently introduced dataset with abstractive dialogue summaries. All of our methods have contributed improvements to abstractive summary measured in ROUGE scores. Through an extensive ablation study, we also present a sensitivity analysis to critical model hyperparameters, probabilities of switching utterances and masking interlocutors.
• Abstract（参考訳）: 文脈化された単語埋め込みは、自然言語理解において最先端のパフォーマンスをもたらす可能性がある。 近年,BERT などの事前学習した深層文脈化テキストエンコーダは,抽象的な要約を含む自然言語タスクを改善する可能性を示している。 既存の対話要約のアプローチは、複数の話者の対話ではなく、ニュース記事からなる大規模コーパスで訓練された要約タスクに、大きな言語モデルを統合することに焦点を当てている。 本稿では,対話要約モデルを学習するための欠点を補う自己指導手法を提案する。 我々の原理は,対話文の文脈化能力を高めるために,前文対話文を用いて不整合情報の流れを検出することである。 拡張BERTを用いて,共有エンコーダデコーダアーキテクチャ上に抽象対話要約モデルを構築し,微調整する。 我々は,最近導入された抽象対話要約データセットであるSAMSum corpusを用いて,抽象対話要約器を実証的に評価した。 これらの手法は,ROUGEスコアで測定した抽象的要約の改善に寄与している。 また,広範なアブレーション研究を通じて,臨界モデルハイパーパラメータに対する感度解析,スイッチング発話の確率,マスキングインターロカクタについて述べる。

関連論文リスト

• Increasing faithfulness in human-human dialog summarization with Spoken Language Understanding tasks [0.0]
  本稿では,タスク関連情報を組み込むことによって,要約処理の促進を図ることを提案する。 その結果,タスク関連情報とモデルを統合することで,単語の誤り率が異なる場合でも要約精度が向上することがわかった。
  論文  参考訳（メタデータ） (2024-09-16T08:15:35Z)
• Instructive Dialogue Summarization with Query Aggregations [41.89962538701501]
  本稿では,対話要約モデルの能力集合を拡張するために,命令精細言語モデルを提案する。 高品質なクエリベースの要約三重項を合成するための3段階のアプローチを提案する。 多目的インストラクティブトリプルを用いた3つの要約データセット上で、InstructDSと呼ばれる統一モデルをトレーニングすることにより、対話要約モデルの能力を拡大する。
  論文  参考訳（メタデータ） (2023-10-17T04:03:00Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension [42.57581945778631]
  抽象的な対話要約は、自然言語処理における重要なスタンドアロンタスクとみなされてきた。 本稿では,新たな対話要約タスクであるSTRUctured DiaLoguE Summarizationを提案する。 変換器エンコーダ言語モデルの対話理解性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-24T04:39:54Z)
• DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
  DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。 実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-12-20T06:21:21Z)
• Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
  比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。 提案手法は,複数の公開データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:13:27Z)
• Controllable Abstractive Dialogue Summarization with Sketch Supervision [56.59357883827276]
  本モデルは,最大50.79のROUGE-Lスコアを持つ最大対話要約コーパスSAMSumの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-28T19:05:36Z)
• Structural Pre-training for Dialogue Comprehension [51.215629336320305]
  本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。 対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。 広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
  論文  参考訳（メタデータ） (2021-05-23T15:16:54Z)
• I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling [104.09033240889106]
  DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。 次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
  論文  参考訳（メタデータ） (2020-12-24T18:47:49Z)
• Incorporating Commonsense Knowledge into Abstractive Dialogue Summarization via Heterogeneous Graph Networks [34.958271247099]
  本稿では,対話理解と要約生成を容易にする大規模コモンセンス知識の実証を目的とした,新しい多話者対話要約器を提案する。 我々は、発話と常識知識を2つの異なるタイプのデータとみなし、両方の情報をモデル化するための対話異種グラフネットワーク(D-HGN)を設計する。
  論文  参考訳（メタデータ） (2020-10-20T05:44:55Z)
• Multi-View Sequence-to-Sequence Models with Conversational Structure for Abstractive Dialogue Summarization [72.54873655114844]
  テキスト要約は、NLPにおいて最も困難で興味深い問題の1つである。 本研究では、まず、異なる視点から構造化されていない日々のチャットの会話構造を抽出し、会話を表現するマルチビューシーケンス・ツー・シーケンスモデルを提案する。 大規模対話要約コーパスの実験により,本手法は,自動評価と人的判断の両面から,従来の最先端モデルよりも有意に優れた性能を示した。
  論文  参考訳（メタデータ） (2020-10-04T20:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。