論文の概要: An AI-Based Behavioral Health Safety Filter and Dataset for Identifying Mental Health Crises in Text-Based Conversations

• arxiv url: http://arxiv.org/abs/2510.12083v1
• Date: Tue, 14 Oct 2025 02:47:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.155523
• Title: An AI-Based Behavioral Health Safety Filter and Dataset for Identifying Mental Health Crises in Text-Based Conversations
• Title（参考訳）: テキスト会話におけるメンタルヘルス危機の特定のためのAIに基づく行動安全フィルタとデータセット
• Authors: Benjamin W. Nelson, Celeste Wong, Matthew T. Silvestrini, Sooyoon Shin, Alanna Robinson, Jessica Lee, Eric Yang, John Torous, Andrew Trister,
• Abstract要約: 大規模なモデルは、しばしば精神疾患を誤って扱い、有害または不適切なアドバイスを提供し、破壊的な行動を可能にする。 これには1,800のシミュレーションメッセージを含むVerily Mental Health Crisisデータセットと794メッセージにサブセットされたNVIDIA Aegis AI Content Safetyデータセットの2つのデータセットが評価されている。 我々はOpenAI Omni Moderation LatestとNVIDIA NeMo Guardrailsの2つのオープンソースコンテンツガードレールとの比較分析を行った。
• 参考スコア（独自算出の注目度）: 1.8312863468604954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often mishandle psychiatric emergencies, offering harmful or inappropriate advice and enabling destructive behaviors. This study evaluated the Verily behavioral health safety filter (VBHSF) on two datasets: the Verily Mental Health Crisis Dataset containing 1,800 simulated messages and the NVIDIA Aegis AI Content Safety Dataset subsetted to 794 mental health-related messages. The two datasets were clinician-labelled and we evaluated performance using the clinician labels. Additionally, we carried out comparative performance analyses against two open source, content moderation guardrails: OpenAI Omni Moderation Latest and NVIDIA NeMo Guardrails. The VBHSF demonstrated, well-balanced performance on the Verily Mental Health Crisis Dataset v1.0, achieving high sensitivity (0.990) and specificity (0.992) in detecting any mental health crises. It achieved an F1-score of 0.939, sensitivity ranged from 0.917-0.992, and specificity was >= 0.978 in identifying specific crisis categories. When evaluated against the NVIDIA Aegis AI Content Safety Dataset 2.0, VBHSF performance remained highly sensitive (0.982) and accuracy (0.921) with reduced specificity (0.859). When compared with the NVIDIA NeMo and OpenAI Omni Moderation Latest guardrails, the VBHSF demonstrated superior performance metrics across both datasets, achieving significantly higher sensitivity in all cases (all p < 0.001) and higher specificity relative to NVIDIA NeMo (p < 0.001), but not to OpenAI Omni Moderation Latest (p = 0.094). NVIDIA NeMo and OpenAI Omni Moderation Latest exhibited inconsistent performance across specific crisis types, with sensitivity for some categories falling below 0.10. Overall, the VBHSF demonstrated robust, generalizable performance that prioritizes sensitivity to minimize missed crises, a crucial feature for healthcare applications.
• Abstract（参考訳）: 大きな言語モデルは、しばしば精神疾患を誤って扱い、有害または不適切なアドバイスを提供し、破壊的な行動を可能にする。 本研究では,1,800のシミュレーションメッセージを含むVerily Mental Health Crisis Datasetと794のメンタルヘルス関連メッセージにサブセットされたNVIDIA Aegis AI Content Safety Datasetの2つのデータセット上で,Verily Behavioral Health Safety Filter(VBHSF)を評価した。 この2つのデータセットはクリニックラベルであり,臨床ラベルを用いて評価を行った。 さらに,OpenAI Omni Moderation LatestとNVIDIA NeMo Guardrailsの2つのオープンソースコンテンツモデレーションガードレールの比較性能解析を行った。 VBHSFはVerily Mental Health Crisis Dataset v1.0で高い感度(0.990)と特異性(0.992)を達成した。 F1スコアは0.939,感度は0.917-0.992,特異度は0.978であった。 NVIDIA Aegis AI Content Safety Dataset 2.0に対して評価すると、VBHSFの性能は高い感度(0.982)と精度(0.921)であり、特異性は0.859である。 NVIDIA NeMoとOpenAI Omniモード比較 最新のガードレールと比較すると、VBHSFは両方のデータセットで優れたパフォーマンス指標を示し、すべてのケース(すべてのp < 0.001)において高い感度、NVIDIA NeMo(p < 0.001)に対して高い特異性を実現しているが、OpenAI Omniモード比較(p = 0.094)には対応していない。 NVIDIA NeMoとOpenAI Omni Moderation 最新の調査では、特定の危機タイプに対して一貫性のないパフォーマンスを示しており、いくつかのカテゴリの感度は0.10以下である。 全体として、VBHSFは、医療アプリケーションにとって重要な機能である、欠落した危機を最小限に抑えるために感度を優先する堅牢で一般化可能なパフォーマンスを示した。

関連論文リスト

• Lightweight MobileNetV1+GRU for ECG Biometric Authentication: Federated and Adversarial Evaluation [0.0]
  本稿では,ECGに基づく認証のための軽量ディープラーニングモデル(MobileNetV1+GRU)を提案する。 我々は、ECGID、MIT-BIH、CYBHi、TBデータセットを用いて、ウェアラブル条件とエッジデプロイメントをシミュレートする。
  論文  参考訳（メタデータ） (2025-09-21T06:46:31Z)
• An Automated Classifier of Harmful Brain Activities for Clinical Usage Based on a Vision-Inspired Pre-trained Framework [4.264452248986976]
  VIPEEGNetはマサチューセッツ総合病院/ハーバード医科大学から記録された脳波を用いて開発された。 多重分類では、6つのカテゴリに対するVIPEEGNETの感度は36.8%から88.2%である。
  論文  参考訳（メタデータ） (2025-07-10T02:22:13Z)
• SMILE-UHURA Challenge -- Small Vessel Segmentation at Mesoscopic Scale from Ultra-High Resolution 7T Magnetic Resonance Angiograms [60.35639972035727]
  公開されている注釈付きデータセットの欠如は、堅牢で機械学習駆動のセグメンテーションアルゴリズムの開発を妨げている。 SMILE-UHURAチャレンジは、7T MRIで取得したTime-of-Flightアンジオグラフィーの注釈付きデータセットを提供することで、公開されている注釈付きデータセットのギャップに対処する。 Diceスコアは、それぞれのデータセットで0.838 $pm$0.066と0.716 $pm$ 0.125まで到達し、平均パフォーマンスは0.804 $pm$ 0.15までになった。
  論文  参考訳（メタデータ） (2024-11-14T17:06:00Z)
• A Neural Framework for Generalized Causal Sensitivity Analysis [78.71545648682705]
  本稿では,因果感受性分析のためのニューラルネットワークフレームワークであるNeuralCSAを提案する。 我々は、NeuralCSAが関心の因果クエリに有効な境界を推測できることを理論的に保証する。
  論文  参考訳（メタデータ） (2023-11-27T17:40:02Z)
• Mental Health Diagnosis in the Digital Age: Harnessing Sentiment Analysis on Social Media Platforms upon Ultra-Sparse Feature Content [3.6195994708545016]
  3次元構造を持つ新しい意味的特徴前処理手法を提案する。 強化されたセマンティック機能により、精神障害を予測および分類するために機械学習モデルを訓練する。 提案手法は,7つのベンチマークモデルと比較して,大幅な性能向上を示した。
  論文  参考訳（メタデータ） (2023-11-09T00:15:06Z)
• Uncertainty-inspired Open Set Learning for Retinal Anomaly Identification [71.06194656633447]
  9つの網膜条件の基底像をトレーニングし,不確実性に着想を得たオープンセット(UIOS)モデルを構築した。 しきい値戦略を持つUIOSモデルはF1スコア99.55%、97.01%、91.91%を達成した。 UIOSは、高い不確実性スコアを正しく予測し、非ターゲットの網膜疾患、低品質の眼底画像、および非基本画像のデータセットを手動でチェックする必要があることを示唆した。
  論文  参考訳（メタデータ） (2023-04-08T10:47:41Z)
• Learning to diagnose common thorax diseases on chest radiographs from radiology reports in Vietnamese [0.33598755777055367]
  ベトナムの放射線学報告から情報を抽出し,胸部X線(CXR)画像の正確なラベルを提供するデータ収集・アノテーションパイプラインを提案する。 このことは、ベトナムの放射線学者や臨床医が、国によって異なる可能性のある内因性診断カテゴリと密接に一致したデータに注釈を付けることで、ベトナムの放射線技師や臨床医に利益をもたらす可能性がある。
  論文  参考訳（メタデータ） (2022-09-11T06:06:03Z)
• The Report on China-Spain Joint Clinical Testing for Rapid COVID-19 Risk Screening by Eye-region Manifestations [59.48245489413308]
  携帯電話カメラで中国とスペインで撮影された視線領域の画像を用いて、新型コロナウイルスの早期スクリーニングモデルを開発し、テストした。 AUC, 感度, 特異性, 精度, F1。
  論文  参考訳（メタデータ） (2021-09-18T02:28:01Z)
• Weak labels and anatomical knowledge: making deep learning practical for intracranial aneurysm detection in TOF-MRA [0.0]
  我々は、過大な弱いラベルを用いてトレーニングされる、完全に自動化されたディープニューラルネットワークを開発する。 当社のネットワークは、社内データで平均77%の感度を達成し、患者1人当たりの平均False Positive(FP)レートは0.72です。
  論文  参考訳（メタデータ） (2021-03-10T16:31:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。