論文の概要: FAIIR: Building Toward A Conversational AI Agent Assistant for Youth Mental Health Service Provision
- arxiv url: http://arxiv.org/abs/2405.18553v3
- Date: Tue, 25 Jun 2024 07:18:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 19:39:42.368134
- Title: FAIIR: Building Toward A Conversational AI Agent Assistant for Youth Mental Health Service Provision
- Title（参考訳）: FAIIR: 若者のメンタルヘルスサービス提供のための会話型AIエージェントアシスタントの構築
- Authors: Stephen Obadinma, Alia Lachana, Maia Norman, Jocelyn Rankin, Joanna Yu, Xiaodan Zhu, Darren Mastropaolo, Deval Pandya, Roxana Sultan, Elham Dolatabadi,
- Abstract要約: FAIIR(Frontline Assistant: Issue Identification and Recommendation)を開発した。
主な目的は、CRの認知的負担を軽減し、課題識別の精度を高め、会話後の管理作業を効率化することである。
その結果,FAIIRの平均AUCROCは94%,サンプル平均F1スコアは64%,サンプル平均リコールスコアは81%であった。
- 参考スコア（独自算出の注目度）: 14.213869958852792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The world's healthcare systems and mental health agencies face both a growing demand for youth mental health services, alongside a simultaneous challenge of limited resources. Here, we focus on frontline crisis support, where Crisis Responders (CRs) engage in conversations for youth mental health support and assign an issue tag to each conversation. In this study, we develop FAIIR (Frontline Assistant: Issue Identification and Recommendation), an advanced tool leveraging an ensemble of domain-adapted and fine-tuned transformer models trained on a large conversational dataset comprising 780,000 conversations. The primary aim is to reduce the cognitive burden on CRs, enhance the accuracy of issue identification, and streamline post-conversation administrative tasks. We evaluate FAIIR on both retrospective and prospective conversations, emphasizing human-in-the-loop design with active CR engagement for model refinement, consensus-building, and overall assessment. Our results indicate that FAIIR achieves an average AUCROC of 94%, a sample average F1-score of 64%, and a sample average recall score of 81% on the retrospective test set. We also demonstrate the robustness and generalizability of the FAIIR tool during the silent testing phase, with less than a 2% drop in all performance metrics. Notably, CRs' responses exhibited an overall agreement of 90.9% with FAIIR's predictions. Furthermore, expert agreement with FAIIR surpassed their agreement with the original labels. To conclude, our findings indicate that assisting with the identification of issues of relevance helps reduce the burden on CRs, ensuring that appropriate resources can be provided and that active rescues and mandatory reporting can take place in critical situations requiring immediate de-escalation.
- Abstract（参考訳）: 世界の医療システムとメンタルヘルス機関は、限られた資源の同時挑戦とともに、若者のメンタルヘルスサービスへの需要が高まっている。
ここでは、危機応答者(CR)が若者のメンタルヘルス支援のために会話を行い、各会話に課題タグを割り当てる、最前線危機支援に焦点を当てる。
本研究では,FAIIR(Frontline Assistant: Issue Identification and Recommendation, FAIIR)を開発した。
主な目的は、CRの認知的負担を軽減し、課題識別の精度を高め、会話後の管理作業を効率化することである。
我々は,FAIIRをふりかえりと将来的な会話の両方で評価し,モデル改良,コンセンサス構築,総合評価のためのアクティブCRエンゲージメントによるループ内設計を強調した。
その結果,FAIIRの平均AUCROCは94%,サンプル平均F1スコアは64%,サンプル平均リコールスコアは81%であった。
また、サイレントテストフェーズにおけるFAIIRツールの堅牢性と一般化性も示しています。
特にCRの反応は、FAIIRの予測と90.9%の一致を示した。
さらに、FAIIRとのエキスパート契約は、オリジナルレーベルとの契約を超過した。
以上の結果から,関連事項の特定を支援することで,CRの負担が軽減され,適切な資源が提供可能であり,緊急の脱エスカレーションを要する危機的状況において,アクティブな救助・強制報告が実施できることが示唆された。
関連論文リスト
- Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。
本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。
我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
論文 参考訳（メタデータ） (2024-09-24T14:52:14Z) - ACR: A Benchmark for Automatic Cohort Retrieval [1.3547712404175771]
現在のコホート検索手法は、手作業によるキュレーションと組み合わせた構造化データの自動クエリに依存している。
大規模言語モデル(LLM)と情報検索(IR)の最近の進歩は、これらのシステムに革命をもたらす有望な道を提供する。
本稿では,新しいタスクであるAutomatic Cohort Retrieval (ACR)を導入し,LLMと商用のドメイン固有のニューロシンボリックアプローチの性能を評価する。
論文 参考訳（メタデータ） (2024-06-20T23:04:06Z) - AgentMD: Empowering Language Agents for Risk Prediction with Large-Scale
Clinical Tool Learning [11.8292941452582]
我々は,臨床電卓を様々な臨床状況でキュレートし,応用できる新しい言語エージェントであるAgentMDを紹介した。
AgentMDは、実行可能な機能と構造化ドキュメントを備えた2,164の多様な臨床電卓のコレクションを自動でキュレートした。
手作業による評価では、3つの品質指標に対して80%以上の精度を実現している。
論文 参考訳（メタデータ） (2024-02-20T18:37:19Z) - RACER: An LLM-powered Methodology for Scalable Analysis of
Semi-structured Mental Health Interviews [8.706825633594487]
我々は,専門家が指導する自動パイプラインであるRACERを開発し,生のインタビュー書き起こしをドメイン関連テーマやサブテーマに効率的に変換する。
RACERは、人間間の合意に近づいた2人の評価者と、適度に高い合意を達成している。
本研究は、LSMを用いた研究効率向上の機会と課題を強調し、医療研究におけるSSIのスケーラブルな分析のための新たな道を開く。
論文 参考訳（メタデータ） (2024-02-05T00:56:30Z) - K-QA: A Real-World Medical Q&A Benchmark [12.636564634626422]
K-QA(K-QA)は、K Health上での実際の会話から発せられる1,212の患者質問を含むデータセットである。
我々は,K-QAのサブセットを自己完結文に分解するために,内科医のパネルを用いて回答し,手動で分解する。
我々は、いくつかの最先端モデルと、コンテキスト内学習と医学指向の拡張検索スキームの効果を評価した。
論文 参考訳（メタデータ） (2024-01-25T20:11:04Z) - A Survey on Interpretable Cross-modal Reasoning [64.37362731950843]
マルチメディア分析から医療診断に至るまで、クロスモーダル推論(CMR)が重要な分野として浮上している。
この調査は、解釈可能なクロスモーダル推論(I-CMR)の領域を掘り下げる
本調査では,I-CMRの3段階分類法について概説する。
論文 参考訳（メタデータ） (2023-09-05T05:06:48Z) - Explicit and Implicit Semantic Ranking Framework [13.356884800150457]
自己学習型セマンティック・クロスアテンションランキング(sRank)を導入した汎用的なセマンティック・ラーニング・ツー・ランク・フレームワークを提案する。
このフレームワークは、可変トレーニングバッチサイズで線形ペアワイズロスを使用し、品質向上と高い効率を達成する。
これは、現実世界の大規模データセットよりも、Microsoftの2つの業界タスクの利益を示すために、効果的に適用されている。
論文 参考訳（メタデータ） (2023-04-11T01:10:49Z) - Large Language Models for Healthcare Data Augmentation: An Example on
Patient-Trial Matching [49.78442796596806]
患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。
本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
論文 参考訳（メタデータ） (2023-03-24T03:14:00Z) - Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。
最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。
本論文では,この新指標を最適化するための最初の試行について述べる。
論文 参考訳（メタデータ） (2022-06-23T12:21:30Z) - Self-supervised Representation Learning with Relative Predictive Coding [102.93854542031396]
Relative Predictive Coding(RPC)は、新しいコントラスト表現学習目標である。
RPCは、トレーニング安定性、ミニバッチサイズ感度、ダウンストリームタスクパフォーマンスのバランスが良好である。
ベンチマークビジョンと音声自己教師型学習タスクにおけるRPCの有効性を実証的に検証する。
論文 参考訳（メタデータ） (2021-03-21T01:04:24Z) - COMPOSE: Cross-Modal Pseudo-Siamese Network for Patient Trial Matching [70.08786840301435]
本稿では, CrOss-Modal PseudO-SiamEse Network (COMPOSE) を提案する。
実験の結果,患者基準マッチングでは98.0%,患者基準マッチングでは83.7%の精度でAUCに到達できることがわかった。
論文 参考訳（メタデータ） (2020-06-15T21:01:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。