論文の概要: Structural Pre-training for Dialogue Comprehension

• arxiv url: http://arxiv.org/abs/2105.10956v1
• Date: Sun, 23 May 2021 15:16:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 15:32:04.048124
• Title: Structural Pre-training for Dialogue Comprehension
• Title（参考訳）: 対話理解のための構造事前学習
• Authors: Zhuosheng Zhang, Hai Zhao
• Abstract要約: 本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。 対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。 広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
• 参考スコア（独自算出の注目度）: 51.215629336320305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (PrLMs) have demonstrated superior performance due to their strong ability to learn universal language representations from self-supervised pre-training. However, even with the help of the powerful PrLMs, it is still challenging to effectively capture task-related knowledge from dialogue texts which are enriched by correlations among speaker-aware utterances. In this work, we present SPIDER, Structural Pre-traIned DialoguE Reader, to capture dialogue exclusive features. To simulate the dialogue-like features, we propose two training objectives in addition to the original LM objectives: 1) utterance order restoration, which predicts the order of the permuted utterances in dialogue context; 2) sentence backbone regularization, which regularizes the model to improve the factual correctness of summarized subject-verb-object triplets. Experimental results on widely used dialogue benchmarks verify the effectiveness of the newly introduced self-supervised tasks.
• Abstract（参考訳）: 事前学習型言語モデル(PrLM)は、自己指導型事前学習から普遍言語表現を学習する能力が強いため、優れた性能を示した。 しかし、強力なPrLMの助けを借りても、話者認識発話間の相関によって強化された対話文からタスク関連知識を効果的に捉えることは依然として困難である。 本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。 対話のような特徴をシミュレートするために,1) 発話の順序を予測する発話順序復元,2) 要約された主語・主語・主語三重項の事実的正当性を改善するためにモデルを正規化する文のバックボーン正規化,の2つの訓練目標を提案する。 広範に使用される対話ベンチマークにおける実験結果から,新しく導入された自己監督タスクの有効性が検証された。

関連論文リスト

• LEEETs-Dial: Linguistic Entrainment in End-to-End Task-oriented Dialogue systems [0.0]
  GPT-2に基づくエンドツーエンドのタスク指向対話システムにおいて,対話学習を実現する手法を提案する。 我々は、トレーニングインスタンスの重み付け、トレーニング固有の損失、およびユーザーと一致した応答を生成するための追加条件付けを実験した。
  論文  参考訳（メタデータ） (2023-11-15T21:35:25Z)
• Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension [81.47133615169203]
  本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。 私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。 実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-01-10T13:18:25Z)
• STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension [42.57581945778631]
  抽象的な対話要約は、自然言語処理における重要なスタンドアロンタスクとみなされてきた。 本稿では,新たな対話要約タスクであるSTRUctured DiaLoguE Summarizationを提案する。 変換器エンコーダ言語モデルの対話理解性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-24T04:39:54Z)
• Self-supervised Dialogue Learning for Spoken Conversational Question Answering [29.545937716796082]
  音声対話質問応答(SCQA)では、複数の会話を含む固定された音声文書を検索して分析することにより、対応する質問に対する回答を生成する。 本研究では,不整合判定,挿入検出,質問予測などの自己教師付き学習手法を導入し,コア参照の解決と対話のコヒーレンスを明確に把握する。 提案手法は,従来の事前学習言語モデルと比較して,より一貫性があり,意味があり,適切な応答を提供する。
  論文  参考訳（メタデータ） (2021-06-04T00:09:38Z)
• Dialogue-oriented Pre-training [70.03028879331339]
  一般的なプレーンテキスト上での会話特徴をシミュレートする3つの手法を提案する。 Dialog-PrLMは3つの公開マルチターン対話データセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2021-06-01T12:02:46Z)
• Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
  マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。 本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-14T15:07:19Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。