論文の概要: Semantic-based Pre-training for Dialogue Understanding

• arxiv url: http://arxiv.org/abs/2209.09146v1
• Date: Mon, 19 Sep 2022 16:06:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 17:43:28.431238
• Title: Semantic-based Pre-training for Dialogue Understanding
• Title（参考訳）: 対話理解のための意味に基づく事前学習
• Authors: Xuefeng Bai, Linfeng Song, Yue Zhang
• Abstract要約: 本稿では,事前学習モデルにおける抽象表現(AMR)を明示的な意味知識として検討する。 本稿では,標準的な事前学習フレームワークを拡張した意味に基づく事前学習フレームワークを提案する。 我々の知る限りでは、対話事前学習に深層意味表現を利用するのは初めてである。
• 参考スコア（独自算出の注目度）: 29.12944601513491
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models have made great progress on dialogue tasks. However, these models are typically trained on surface dialogue text, thus are proven to be weak in understanding the main semantic meaning of a dialogue context. We investigate Abstract Meaning Representation (AMR) as explicit semantic knowledge for pre-training models to capture the core semantic information in dialogues during pre-training. In particular, we propose a semantic-based pre-training framework that extends the standard pre-training framework (Devlin et al., 2019) by three tasks for learning 1) core semantic units, 2) semantic relations and 3) the overall semantic representation according to AMR graphs. Experiments on the understanding of both chit-chats and task-oriented dialogues show the superiority of our model. To our knowledge, we are the first to leverage a deep semantic representation for dialogue pre-training.
• Abstract（参考訳）: 事前訓練された言語モデルは対話タスクに大きな進歩をもたらした。 しかしながら、これらのモデルは通常、表面対話テキストで訓練されるため、対話コンテキストの主意味を理解するのに弱いことが証明されている。 本研究では,事前学習モデルのための明示的な意味知識としての抽象的意味表現(amr)について検討し,対話の核となる意味情報を取り込む。 特に,3つの学習課題による標準事前学習フレームワーク(Devlin et al., 2019)を拡張した意味ベース事前学習フレームワークを提案する。 1) コア・セマンティック・ユニット 2)意味的関係 3)AMRグラフによる全体的な意味表現。 チャットとタスク指向対話の両方の理解実験は、我々のモデルの優位性を示している。 我々の知る限りでは、対話事前学習に深層意味表現を利用するのは初めてである。

関連論文リスト

• FutureTOD: Teaching Future Knowledge to Pre-trained Language Model for Task-Oriented Dialogue [20.79359173822053]
  本稿では,対話前学習モデルFutureTODを提案する。 我々の直感は、良い対話表現はどちらも局所的な文脈情報を学び、将来の情報を予測することである。
  論文  参考訳（メタデータ） (2023-06-17T10:40:07Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension [81.47133615169203]
  本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。 私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。 実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-01-10T13:18:25Z)
• Dialogue Meaning Representation for Task-Oriented Dialogue Systems [51.91615150842267]
  タスク指向対話のための柔軟かつ容易に拡張可能な表現である対話意味表現(DMR)を提案する。 我々の表現は、合成意味論とタスク固有の概念のためのリッチな意味論を表現するために、継承階層を持つノードとエッジのセットを含んでいる。 異なる機械学習ベースの対話モデルを評価するための2つの評価タスクを提案し、さらにグラフベースのコア参照解決タスクのための新しいコア参照解決モデルGNNCorefを提案する。
  論文  参考訳（メタデータ） (2022-04-23T04:17:55Z)
• Advances in Multi-turn Dialogue Comprehension: A Survey [51.215629336320305]
  自然言語を理解し、人間と対話するための訓練機械は、人工知能の解明と本質的なタスクである。 本稿では,対話理解タスクにおける対話モデリングの技術的視点から,過去の手法を概観する。 さらに,対話シナリオにおけるPrLMの強化に使用される対話関連事前学習手法を分類する。
  論文  参考訳（メタデータ） (2021-10-11T03:52:37Z)
• Structural Pre-training for Dialogue Comprehension [51.215629336320305]
  本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。 対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。 広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
  論文  参考訳（メタデータ） (2021-05-23T15:16:54Z)
• Semantic Representation for Dialogue Modeling [22.80679759491184]
  対話モデリングを支援するために抽象的意味表現(AMR)を利用する。 テキスト入力と比較すると、AMRはコアセマンティック知識を明示的に提供します。 我々は初めて、形式的な意味表現をニューラルダイアログモデリングに活用する。
  論文  参考訳（メタデータ） (2021-05-21T07:55:07Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。