論文の概要: Learning to Automate Follow-up Question Generation using Process
Knowledge for Depression Triage on Reddit Posts
- arxiv url: http://arxiv.org/abs/2205.13884v1
- Date: Fri, 27 May 2022 10:33:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 01:04:28.593291
- Title: Learning to Automate Follow-up Question Generation using Process
Knowledge for Depression Triage on Reddit Posts
- Title(参考訳): reddit投稿のうつ病トリアージに対するプロセス知識を用いたフォローアップ質問生成の学習
- Authors: Shrey Gupta, Anmol Agarwal, Manas Gaur, Kaushik Roy, Vignesh
Narayanan, Ponnurangam Kumaraguru, Amit Sheth
- Abstract要約: 深層言語モデル(DLM)を駆使した会話エージェント(CA)は、メンタルヘルス分野において大きな可能性を秘めている。
メンタルヘルスアンケートにおけるプロセス知識と組み合わせたDLMでは、フォローアップ質問が12.54%、フォローアップ質問が9.37%改善した(FQ)。
臨床プロセス知識に準拠したFQを生成するために,既存のデータセットを用いてDLMを訓練する課題を示す。
- 参考スコア(独自算出の注目度): 16.070390989011386
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Conversational Agents (CAs) powered with deep language models (DLMs) have
shown tremendous promise in the domain of mental health. Prominently, the CAs
have been used to provide informational or therapeutic services to patients.
However, the utility of CAs to assist in mental health triaging has not been
explored in the existing work as it requires a controlled generation of
follow-up questions (FQs), which are often initiated and guided by the mental
health professionals (MHPs) in clinical settings. In the context of depression,
our experiments show that DLMs coupled with process knowledge in a mental
health questionnaire generate 12.54% and 9.37% better FQs based on similarity
and longest common subsequence matches to questions in the PHQ-9 dataset
respectively, when compared with DLMs without process knowledge support.
Despite coupling with process knowledge, we find that DLMs are still prone to
hallucination, i.e., generating redundant, irrelevant, and unsafe FQs. We
demonstrate the challenge of using existing datasets to train a DLM for
generating FQs that adhere to clinical process knowledge. To address this
limitation, we prepared an extended PHQ-9 based dataset, PRIMATE, in
collaboration with MHPs. PRIMATE contains annotations regarding whether a
particular question in the PHQ-9 dataset has already been answered in the
user's initial description of the mental health condition. We used PRIMATE to
train a DLM in a supervised setting to identify which of the PHQ-9 questions
can be answered directly from the user's post and which ones would require more
information from the user. Using performance analysis based on MCC scores, we
show that PRIMATE is appropriate for identifying questions in PHQ-9 that could
guide generative DLMs towards controlled FQ generation suitable for aiding
triaging. Dataset created as a part of this research:
https://github.com/primate-mh/Primate2022
- Abstract(参考訳): 深層言語モデル(DLM)を駆使した会話エージェント(CA)は、メンタルヘルス分野において大きな可能性を秘めている。
主に、CAは患者に情報提供や治療に使われてきた。
しかし、精神保健専門医(MHP)が臨床現場でしばしば開始し指導するフォローアップ質問(FQ)の制御を必要とするため、メンタルヘルストリアージを支援するためのCAの有用性は、既存の研究では検討されていない。
うつの文脈では,精神保健調査におけるプロセス知識と組み合わせたDLMは,PHQ-9データセットの質問に対する類似性と最長の共通サブシーケンスマッチングに基づいて12.54%と9.37%の優れたFQを生成する。
プロセス知識との結合にもかかわらず、DLMは幻覚、すなわち冗長で無関係で安全でないFQを生成する傾向にある。
臨床プロセス知識に準拠したFQを生成するために,既存のデータセットを用いてDLMを訓練する課題を示す。
この制限に対処するため,我々はmhps と共同で phq-9 ベースの拡張データセット primate を作成した。
PRIMATEには、PHQ-9データセットの特定の質問が、ユーザーのメンタルヘルス状態に関する最初の記述で既に回答されているかどうかに関するアノテーションが含まれている。
我々は,dlmを教師付き設定でトレーニングするためにprimateを用いて,phq-9質問のどれがユーザの投稿から直接回答可能で,どれがユーザからのさらなる情報を必要とするかを識別した。
MCCスコアに基づく評価分析により, PRIMATEはPHQ-9において, トリアージ支援に適した制御FQ生成に向けて生成DLMを誘導する問題を特定するのに適していることが示された。
この研究の一部として作成されたデータセット: https://github.com/primate-mh/primate2022
関連論文リスト
- Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize
Encoded Knowledge [85.17343729885003]
我々は,Hint-before-Solving Prompting (HSP)を導入し,その問題を解くためのヒントを生成する。
HSPは推論タスクの精度を効果的に向上させることができる。
我々はHSPと細調整されたLlemma-7Bに基づいてHSPMATHデータセットを構築し、64.3精度を達成した。
論文 参考訳(メタデータ) (2024-02-22T05:58:03Z) - MentaLLaMA: Interpretable Mental Health Analysis on Social Media with
Large Language Models [28.62967557368565]
ソーシャルメディア上に,最初のマルチタスクおよびマルチソース解釈可能なメンタルヘルスインストラクションデータセットを構築した。
専門家が作成した数発のプロンプトとラベルを収集し,ChatGPTをプロンプトし,その応答から説明を得る。
IMHIデータセットとLLaMA2ファンデーションモデルに基づいて、メンタルヘルス分析のための最初のオープンソースLLMシリーズであるMentalLLaMAを訓練する。
論文 参考訳(メタデータ) (2023-09-24T06:46:08Z) - Won't Get Fooled Again: Answering Questions with False Premises [79.8761549830075]
プレトレーニング言語モデル(PLM)は、様々な分野で前例のない可能性を示している。
PLMは「太陽は何人の目を持っているのか?」といったトリッキーな質問によって容易に騙される傾向がある。
PLMはすでにそのような疑問に答えるために必要な知識を持っている。
論文 参考訳(メタデータ) (2023-07-05T16:09:21Z) - What Do Patients Say About Their Disease Symptoms? Deep Multilabel Text
Classification With Human-in-the-Loop Curation for Automatic Labeling of
Patient Self Reports of Problems [5.557886590578069]
最も大きなオンラインデータセットの1つは、170,141のオープンエンドのセルフレポーティングレスポンスである。
9つのキュレーターによって注釈付けされた2,341動詞を用いたベースラインデータセットを構築した。
NLP技術を用いた規則に基づく言語辞書を開発した。
論文 参考訳(メタデータ) (2023-05-08T17:42:23Z) - Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs
Answering [13.735277588793997]
クラウドベースLarge Language Models (LLMs) を用いた分散ユーザによる質問に対する回答精度の向上について検討する。
本研究は,同じ数学的推論ステップと問題解決手順を含む類似のクエリをユーザが質問する典型的な状況に焦点を当てる。
本稿では,自己整合性(SC)とCoT(Chain-of-Thought)技術を用いて,分散同義語質問を改善することを提案する。
論文 参考訳(メタデータ) (2023-04-27T01:48:03Z) - Language Models are Causal Knowledge Extractors for Zero-shot Video
Question Answering [60.93164850492871]
Causal Video Question Answering (CVidQA)は、関連性や時間的関係だけでなく、ビデオ内の因果関係も問う。
本稿では,言語モデルからの因果共通知識を利用してCVidQAに取り組む,CaKE-LM(Causal Knowledge extract from Language Models)を提案する。
CaKE-LMは、NExT-QAおよびCausal-VidQAデータセットにおいて、ゼロショットCVidQAの精度の4%から6%で従来の手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2023-04-07T17:45:49Z) - Learning to Ask Like a Physician [24.15961995052862]
2,000以上の質問からなる新たな質問データセットDiSCQについて紹介する。
質問は、100以上のMIMIC-III放電サマリーの医療専門家によって生成される。
我々は、このデータセットを分析し、医療専門家が求めている情報のタイプを特徴付ける。
論文 参考訳(メタデータ) (2022-06-06T15:50:54Z) - Where's the Question? A Multi-channel Deep Convolutional Neural Network
for Question Identification in Textual Data [83.89578557287658]
本稿では,実際の質問を分離する目的で,新しい多チャンネル深層畳み込みニューラルネットワークアーキテクチャであるQuest-CNNを提案する。
提案するニューラルネットワークと他のディープニューラルネットワークの総合的な性能比較分析を行った。
提案したQuest-CNNは、透析ケア設定におけるデータエントリレビュー対話のデータセットと一般的なドメインデータセットの両方において、最高のF1スコアを達成した。
論文 参考訳(メタデータ) (2020-10-15T15:11:22Z) - Answering Questions on COVID-19 in Real-Time [18.183746404693775]
新型コロナウイルスの感染拡大が世界中に波及し、研究者らは効果的に戦おうとしている。
戦いが難しい理由のひとつは、情報と知識の不足にある。
本稿では,コビッドAskを作成することで,この知識の真空化に貢献する取り組みについて概説する。
論文 参考訳(メタデータ) (2020-06-29T06:34:35Z) - Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。
まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。
第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文 参考訳(メタデータ) (2020-05-06T15:56:06Z) - Break It Down: A Question Understanding Benchmark [79.41678884521801]
本稿では,質問に対する質問分解表現(QDMR)について紹介する。
QDMRは、質問に答えるために必要な自然言語で表されるステップの順序付きリストを構成する。
83万組の質問と彼らのQDMRを含むBreakデータセットをリリースする。
論文 参考訳(メタデータ) (2020-01-31T11:04:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。