論文の概要: Retrieval-Augmented Generation in LLMs for Mental Health: Quantifying the Incremental Contribution of Retrieval Within a Layered Safety Architecture

• arxiv url: http://arxiv.org/abs/2607.24817v1
• Date: Fri, 17 Jul 2026 06:32:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:39.079846
• Title: Retrieval-Augmented Generation in LLMs for Mental Health: Quantifying the Incremental Contribution of Retrieval Within a Layered Safety Architecture
• Title（参考訳）: 精神保健のためのLLMの検索・拡張生成:階層型安全アーキテクチャにおける検索のインクリメンタルコントリビューションの定量化
• Abstract要約: デジタルメンタルヘルス介入(DMHI)はスケーラブルなサポートを提供するが、不安定な状況下でユーザの意図を正確に検出することは困難である。 本稿では、RAG対応モードとRAG対応モードの比較により、DMHI内のWysaと呼ばれる6つの大言語モデルを評価する。 この研究は、分類精度、リコール、精度、F1スコアを地上の真理ラベルに対して計算し、統計的に有意な差を試験した。
• 参考スコア（独自算出の注目度）: 1.9213555198905314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Digital mental health interventions (DMHIs) offer scalable support, but ensuring they accurately detect users' intent during volatile situations can be challenging. Pure parametric Large Language models (LLMs) do not contain specific safety critical architecture, and can miss critical cues, or hallucinate, undermining reliability. Retrieval Augmented Generation (RAG), which supplements an LLM with retrieved context, could enhance intent detection during volatile situations. Commercially available DMHIs typically combine multiple independent safety layers like rule-based filters, symbolic escalation protocols, and neural classification. The incremental contribution of any single layer, however, remains unquantified. This paper evaluates six LLM models within a DMHI called Wysa, via a controlled comparison of RAG-enabled versus RAG-disabled modes. Anonymized real and synthetic user-chatbot exchanges were annotated by a qualified clinical team against multi-class intent categories (e.g. self-harm, abuse, panic). The study computed classification accuracy, recall, precision and F1 scores against ground truth labels and tested differences for statistical significance. Performance was also examined by risk category and inter-model agreement. While RAG caused a rise in false alarms, the trade-off is consistent with safety-critical design principles that prioritize sensitivity, where flagged cases are routed to additional review rather than acted on directly. Overall, these findings support RAG as a promising approach to improve the accuracy, consistency and safety of LLM-driven DMHIs. Keywords: Digital Mental Health Intervention, Large Language Model, Retrieval Augmented Generation, Accuracy, Recall, Precision
• Abstract（参考訳）: デジタルメンタルヘルス介入(DMHI)はスケーラブルなサポートを提供するが、不安定な状況下でユーザの意図を正確に検出することは困難である。 純粋なパラメトリック大言語モデル(LLM)は、特定の安全クリティカルアーキテクチャを含まないため、重要なキューや幻覚を見逃し、信頼性を損なう可能性がある。 Retrieval Augmented Generation (RAG)は、LLMを回復した文脈で補うことで、揮発性状況における意図の検出を高めることができる。 市販のDMHIは、ルールベースのフィルタ、シンボリックエスカレーションプロトコル、ニューラル分類など、複数の独立した安全層を組み合わせるのが一般的である。 しかし、すべての単層層の漸進的な寄与は、いまだに定量化されていない。 本稿では、RAG対応モードとRAG対応モードの制御比較により、DMHI内のWysaと呼ばれる6つのLCMモデルを評価する。 匿名化されたリアルチャットボットと合成チャットボットの交換は、資格のある臨床チームによってマルチクラスの意図カテゴリー(例えば、セルフハーム、虐待、パニック)に対してアノテートされた。 この研究は、分類精度、リコール、精度、F1スコアを地上の真理ラベルに対して計算し、統計的に有意な差を試験した。 また,リスクカテゴリーとモデル間合意による評価も行った。 RAGは誤報を発生させたが、トレードオフは、フラグ付きのケースが直接ではなく追加のレビューにルーティングされる、感度を優先する安全クリティカルな設計原則と一致している。 これらの知見は, LLM駆動DMHIの精度, 一貫性, 安全性を向上させるための有望なアプローチとしてRAGを支持した。 キーワード:デジタルメンタルヘルス介入、大規模言語モデル、検索生成、精度、リコール、精度

関連論文リスト

• Same Patient, Different Words, Different Diagnosis? Evaluating Semantic Stability in Clinical LLMs [5.580559622582594]
  モデル感度を定量化するための指標として,MVS(Meaning Preserving Variation Sensitivity),信頼度変動(C),Worst-Case Instability(WCI)の3つを紹介した。 以上の結果から,ドメイン固有モデルの違いは混在しており,モデル依存度が高いことが示唆された。
  論文  参考訳（メタデータ） (2026-05-28T23:03:43Z)
• Green Shielding: A User-Centric Approach Towards Trustworthy AI [19.485991712624095]
  Green Shieldingはエビデンスベースのデプロイメントガイダンスを構築するための,ユーザ中心のアジェンダだ。 HealthCareMagic-Diagnosis による医療診断における Green Shielding のインスタンス化 ここでは医療診断においてインスタンス化されているが、アジェンダは他の意思決定支援設定やエージェントAIシステムに自然に拡張されている。
  論文  参考訳（メタデータ） (2026-04-27T17:04:17Z)
• DeepSeek Robustness Against Semantic-Character Dual-Space Mutated Prompt Injection [45.67420390185547]
  本稿では,プロンプトインジェクションに対するロバスト性を評価するためのセマンティックキャラクタであるPromptFuzz-SCを提案する。 Epsilon-greedy 探索とヒルクライミングの改良を組み合わせたハイブリッド探索手法を採用し,高品質な対向プロンプトを効率的に発見する。 DeepSeekの実験結果によると、二重空間変異は攻撃性能が最強であることが示されている。
  論文  参考訳（メタデータ） (2026-04-14T10:20:15Z)
• MHDash: An Online Platform for Benchmarking Mental Health-Aware AI Assistants [2.89303424493]
  我々は、メンタルヘルスアプリケーションのためのAIシステムの開発、評価、監査を支援するために設計されたオープンソースのプラットフォームであるMHDashを紹介する。 以上の結果から, 単純ベースラインと高度なLCM APIは, 高リスク症例においてほぼ同等の精度を示しつつも, 極めて多岐にわたることが示唆された。 MHDashをオープンプラットフォームとしてリリースすることで、再現可能な研究、透過的な評価、メンタルヘルス支援のためのAIシステムの安全に整合した開発を促進することを目指している。
  論文  参考訳（メタデータ） (2026-01-30T22:03:31Z)
• Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context [82.32380418146656]
  Health-ORSC-Benchは、医療におけるtextbfOver-Refusalと textbfSafe Completionの品質を測定するために設計された最初の大規模ベンチマークである。 私たちのフレームワークは、人間の検証を備えた自動パイプラインを使用して、さまざまなレベルの意図の曖昧さでモデルをテストします。 Health-ORSC-Benchは、次世代の医療AIアシスタントを調整するための厳格な標準を提供する。
  論文  参考訳（メタデータ） (2026-01-25T01:28:52Z)
• Biosecurity-Aware AI: Agentic Risk Auditing of Soft Prompt Attacks on ESM-Based Variant Predictors [4.781986758380065]
  本稿では,GFMの敵対的脆弱性を監査するためのエージェントフレームワークであるSecure Agentic Genomic Evaluator (SAGE)を紹介する。 SAGEを用いて、ESM2のような最先端のGFMでさえ、標的となるソフトプロンプト攻撃に敏感であることがわかった。
  論文  参考訳（メタデータ） (2025-12-19T00:51:11Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• Uncovering Overconfident Failures in CXR Models via Augmentation-Sensitivity Risk Scoring [1.9837702647603577]
  胸部X線写真(CXR)症例を同定するために,ASRS(Augmentation-sensitive risk score)フレームワークを提案する。 ASRSのスコアは、サンプルを安定四成分に成層化し、非常に敏感なケースではリコールがかなり低い。 ASRSは、選択的な予測と臨床レビューのためのラベルなしの手段を提供し、医療AIの公正性と安全性を改善している。
  論文  参考訳（メタデータ） (2025-10-02T05:15:40Z)
• Beyond Benchmarks: Dynamic, Automatic And Systematic Red-Teaming Agents For Trustworthy Medical Language Models [87.66870367661342]
  大規模言語モデル(LLM)は、医療におけるAIアプリケーションで使用される。 LLMを継続的にストレステストするレッドチームフレームワークは、4つのセーフティクリティカルなドメインで重大な弱点を明らかにすることができる。 敵エージェントのスイートは、自律的に変化するテストケースに適用され、安全でないトリガー戦略を特定し、評価する。 私たちのフレームワークは、進化可能でスケーラブルで信頼性の高い、次世代の医療AIのセーフガードを提供します。
  論文  参考訳（メタデータ） (2025-07-30T08:44:22Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [104.50239783909063]
  Retrieval Augmented Generation (RAG) を用いた多モーダル大規模言語モデルは、多モーダル質問応答のようなかなり高度なタスクを持つ。 この外部知識への依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを引き起こす。 マルチモーダルRAGにおける知識中毒を体系的に設計する最初のフレームワークであるMM-PoisonRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-25T04:23:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。