論文の概要: Domain-specific Language Pre-training for Dialogue Comprehension on Clinical Inquiry-Answering Conversations

• arxiv url: http://arxiv.org/abs/2206.02428v1
• Date: Mon, 6 Jun 2022 08:45:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 16:30:34.166169
• Title: Domain-specific Language Pre-training for Dialogue Comprehension on Clinical Inquiry-Answering Conversations
• Title（参考訳）: 臨床質問に対する対話理解のためのドメイン特化言語事前学習
• Authors: Zhengyuan Liu, Pavitra Krishnaswamy, Nancy F. Chen
• Abstract要約: 自然言語処理の最近の進歩は、大規模な事前訓練された言語バックボーンを機械理解や情報抽出のタスクに活用できることを示唆している。 しかし、事前トレーニングと下流臨床ドメインのギャップのため、ドメイン固有のアプリケーションに一般的なバックボーンを活用することは依然として困難である。 本稿では,対話理解などの下流タスクの性能向上を目的とした,ドメイン固有言語事前学習を提案する。
• 参考スコア（独自算出の注目度）: 28.567701055153385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is growing interest in the automated extraction of relevant information from clinical dialogues. However, it is difficult to collect and construct large annotated resources for clinical dialogue tasks. Recent developments in natural language processing suggest that large-scale pre-trained language backbones could be leveraged for such machine comprehension and information extraction tasks. Yet, due to the gap between pre-training and downstream clinical domains, it remains challenging to exploit the generic backbones for domain-specific applications. Therefore, in this work, we propose a domain-specific language pre-training, to improve performance on downstream tasks like dialogue comprehension. Aside from the common token-level masking pre-training method, according to the nature of human conversations and interactive flow of multi-topic inquiry-answering dialogues, we further propose sample generation strategies with speaker and utterance manipulation. The conversational pre-training guides the language backbone to reconstruct the utterances coherently based on the remaining context, thus bridging the gap between general and specific domains. Experiments are conducted on a clinical conversation dataset for symptom checking, where nurses inquire and discuss symptom information with patients. We empirically show that the neural model with our proposed approach brings improvement in the dialogue comprehension task, and can achieve favorable results in the low resource training scenario.
• Abstract（参考訳）: 臨床対話から関連情報を自動抽出することへの関心が高まっている。 しかし, 臨床対話タスクのための大量の注釈リソースの収集と構築は困難である。 自然言語処理の最近の進歩は、そのような機械理解や情報抽出作業に大規模な事前学習された言語バックボーンを活用できることを示唆している。 しかし、事前トレーニングと下流臨床ドメインのギャップのため、ドメイン固有のアプリケーションに一般的なバックボーンを利用するのは難しい。 そこで本研究では,対話理解などの下流タスクの性能向上を目的とした,ドメイン固有言語事前学習を提案する。 共通トークンレベルのマスキング事前学習法は,人間の会話の性質や多目的質問応答対話のインタラクティブな流れによらず,話者・発話操作によるサンプル生成手法を提案する。 会話事前学習は、言語バックボーンを導いて、残りの文脈に基づいて連続的に発話を再構築し、一般的なドメインと特定のドメインの間のギャップを橋渡しする。 看護師が患者と症状情報を調べ,議論する症状検査のための臨床会話データセットを用いて実験を行った。 提案手法を用いたニューラルモデルにより,対話理解タスクが改善され,低リソース学習シナリオにおいて良好な結果が得られることを示す。

関連論文リスト

• Picking the Underused Heads: A Network Pruning Perspective of Attention Head Selection for Fusing Dialogue Coreference Information [50.41829484199252]
  マルチヘッド自己アテンション機構を持つトランスフォーマーベースのモデルは自然言語処理で広く利用されている。 ネットワークプルーニングの観点から,特徴注入のためのアテンションヘッドの選択と操作戦略について検討する。
  論文  参考訳（メタデータ） (2023-12-15T05:27:24Z)
• PK-Chat: Pointer Network Guided Knowledge Driven Generative Dialogue Model [79.64376762489164]
  PK-Chatは、知識グラフ上のポインタネットワークと、事前訓練された言語モデルを組み合わせた、ポインタネットワーク誘導生成対話モデルである。 PK-Chatが対話で生成した単語は、単語リストの予測と外部知識グラフ知識の直接予測から導かれる。 PK-Chatに基づく対話システムは、地球科学の学術シナリオ向けに構築されている。
  論文  参考訳（メタデータ） (2023-04-02T18:23:13Z)
• Improve Retrieval-based Dialogue System via Syntax-Informed Attention [46.79601705850277]
  文内構文情報と文間構文情報の両方を考慮したSIA, Syntax-Informed Attentionを提案する。 提案手法を広範に使用した3つのベンチマークで評価し,対話応答選択における本手法の一般的な優位性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-03-12T08:14:16Z)
• Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension [81.47133615169203]
  本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。 私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。 実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-01-10T13:18:25Z)
• Emotion Recognition in Conversation using Probabilistic Soft Logic [17.62924003652853]
  会話における感情認識(英: emotion recognition in conversation、ERC)とは、2つ以上の発話を含む会話に焦点を当てた感情認識のサブフィールドである。 我々は,宣言的テンプレート言語である確率的ソフト論理(PSL)にアプローチを実装した。 PSLは、ニューラルモデルからPSLモデルへの結果の取り込みのための機能を提供する。 提案手法を最先端の純粋ニューラルネットワークERCシステムと比較した結果,約20%の改善が得られた。
  論文  参考訳（メタデータ） (2022-07-14T23:59:06Z)
• Achieving Conversational Goals with Unsupervised Post-hoc Knowledge Injection [37.15893335147598]
  現在のニューラルダイアログモデルの制限は、生成された応答における特異性と情報性の欠如に悩まされる傾向があることである。 本稿では,対話履歴と既存の対話モデルから初期応答の両方を条件とした,多様な知識スニペットの集合を検索する,ポストホックな知識注入手法を提案する。 我々は,各検索したスニペットを,勾配に基づく復号法を用いて初期応答に個別に注入し,教師なしランキングステップで最終応答を選択する複数の候補応答を構築する。
  論文  参考訳（メタデータ） (2022-03-22T00:42:27Z)
• Comparison of Speaker Role Recognition and Speaker Enrollment Protocol for conversational Clinical Interviews [9.728371067160941]
  エンドツーエンドのニューラルネットワークアーキテクチャをトレーニングし、各タスクに適応し、各アプローチを同じメトリクスで評価します。 結果は面接者の人口統計にも依存せず,その臨床的意義を浮き彫りにした。
  論文  参考訳（メタデータ） (2020-10-30T09:07:37Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Masking Orchestration: Multi-task Pretraining for Multi-role Dialogue Representation Learning [50.5572111079898]
  マルチロール対話理解は、質問応答、行動分類、対話要約など、幅広い多様なタスクを含む。 対話コーパスは豊富に利用可能であるが、特定の学習タスクのためのラベル付きデータは非常に不足しており、高価である。 本研究では,教師なし事前学習タスクを用いた対話文脈表現学習について検討する。
  論文  参考訳（メタデータ） (2020-02-27T04:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。