論文の概要: A Safety-Gated Multimodal AI Backend for Mental-Health Support: Hierarchical State Representation, Conservative Risk Fusion, and Controlled Generation in Anian
- arxiv url: http://arxiv.org/abs/2608.26162v1
- Date: Fri, 10 Jul 2026 13:52:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.371607
- Title: A Safety-Gated Multimodal AI Backend for Mental-Health Support: Hierarchical State Representation, Conservative Risk Fusion, and Controlled Generation in Anian
- Title（参考訳）: メンタルヘルス支援のための安全保証型マルチモーダルAIバックエンド:アジアにおける階層的状態表現、保守的リスク融合、制御された生成
- Abstract要約: Anianは、周産期のメンタルヘルスサポートとマインドフルネス・インターベンションルーティングのための、安全対応のマルチモーダルAIバックエンドである。
アニアンは精神疾患の診断や、臨床ケアや危機的介入の代替を意図していない。
- 参考スコア（独自算出の注目度）: 11.781504555636792
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Safety-critical mental-health support systems must distinguish when supportive conversation is appropriate from when free-form generation should be blocked. This paper presents Anian, a safety-gated multimodal AI backend for perinatal mental-health support and mindfulness-intervention routing. Anian is not intended to diagnose psychiatric conditions or replace clinical care or crisis intervention. Its modular pipeline places generative AI downstream of structured state representation, conservative risk fusion, and response gating. User text or voice-derived ASR transcripts are mapped into four linked layers: L1 emotion states, L2 psychosocial constructs, L3 safety risk, and L4 intervention routes. Local text- and rule-based safety evidence is fused with external voice-derived evidence using a highest-risk-priority rule, S_fusion = max(S_local, S_external). At moderate or high fused risk, ordinary AI-generated responses and text-to-speech delivery are blocked and replaced by fixed safety content and prompts for human support. An internal prototype evaluation used approximately 858,295 normalized records from public emotion, dialogue, mental-health-related, and Chinese dialogue corpora within a weak-label and rule-derived framework. Micro-F1 scores were 0.9604 for L1 emotion classification, 0.9144 for L2 psychosocial constructs, and 0.9742 for L4 routing. In a controlled safety stress test of 233 samples, the L3 rule engine achieved high-risk recall of 1.0000 within predefined scenarios. These findings support the internal feasibility of the label framework and gating logic but do not establish clinical validity, diagnostic accuracy, real-world safety, or effectiveness. We report the architecture, ontology, safety-fusion mechanism, prototype evaluation, error-analysis plan, and roadmap for expert-reviewed and real-world validation.
- Abstract（参考訳）: 安全クリティカルなメンタルヘルス支援システムは、サポート的な会話が適切であるかどうかを、フリーフォーム生成をブロックすべき時期と区別しなければならない。
本稿では、周産期精神保健支援とマインドフルネス・インターベンションルーティングのための安全対応型マルチモーダルAIバックエンドであるAnianを提案する。
アニアンは精神疾患の診断や臨床ケアや危機介入の代替を意図していない。
そのモジュールパイプラインは、構造化状態表現、保守的リスク融合、応答ゲーティングの生成AIを下流に配置する。
ユーザテキストまたは音声由来のASR転写産物は、L1感情状態、L2精神社会的構成物、L3安全性リスク、L4介入経路の4つの関連レイヤにマッピングされる。
S_fusion = max(S_local, S_external, S_external)という高リスクプライオリティ規則を用いて, 局所テキストおよび規則に基づく安全証拠を外部音声由来の証拠と融合させる。
中程度の、あるいは高い融合リスクでは、通常のAI生成応答とテキストから音声への配信がブロックされ、固定された安全コンテンツに置き換えられ、人間のサポートが促される。
内部プロトタイプ評価では、弱ラベル・ルール由来の枠組みの中で、公的な感情、対話、メンタルヘルス関連、中国の対話コーパスから、およそ858,295の正規化された記録を使用した。
マイクロF1スコアは、L1感情分類で0.9604、L2精神社会的構成で0.9144、L4ルーティングで0.9742であった。
233サンプルの制御された安全ストレステストにおいて、L3ルールエンジンは事前定義されたシナリオで10000の高リスクリコールを達成した。
これらの知見は、ラベルフレームワークとゲーティングロジックの内部実現性を支持するが、臨床的妥当性、診断精度、現実世界の安全性、有効性は確立していない。
本稿では, アーキテクチャ, オントロジー, 安全融合機構, プロトタイプ評価, エラー解析計画, 専門家レビュー, 実世界検証のロードマップについて報告する。
関連論文リスト
- Risk Governance for Generative AI Mental Health Support: A Multi-Turn Safety Architecture [13.319144217202227]
大規模言語モデル(LLM)は、進化する精神健康リスクを安全に制御するメカニズムが欠如しているにもかかわらず、感情的な支援にますます利用されている。
我々は,マルチターンメンタルヘルスインタラクションのためのコンテキストリスク検出,推論に基づく検証,プロトコル誘導応答生成を組み合わせたモデル非依存型安全ガバナンスアーキテクチャを開発した。
論文 参考訳（メタデータ） (2026-07-17T14:33:11Z) - Retrieval-Augmented Generation in LLMs for Mental Health: Quantifying the Incremental Contribution of Retrieval Within a Layered Safety Architecture [1.9213555198905314]
デジタルメンタルヘルス介入(DMHI)はスケーラブルなサポートを提供するが、不安定な状況下でユーザの意図を正確に検出することは困難である。
本稿では、RAG対応モードとRAG対応モードの比較により、DMHI内のWysaと呼ばれる6つの大言語モデルを評価する。
この研究は、分類精度、リコール、精度、F1スコアを地上の真理ラベルに対して計算し、統計的に有意な差を試験した。
論文 参考訳（メタデータ） (2026-07-17T06:32:12Z) - Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳（メタデータ） (2026-05-28T02:12:41Z) - Persona-Grounded Safety Evaluation of AI Companions in Multi-Turn Conversations [3.437656066916039]
本稿では,AIコンパニオンアプリケーションとのマルチターンインタラクションの制御と安全性評価のための,初のエンドツーエンドスケーラブルフレームワークを提案する。
このフレームワークを適用して、広く使われているAIコンパニオンアプリであるReplikaが、ハイリスクなユーザグループにどのように反応するかを評価する。
論文 参考訳（メタデータ） (2026-04-30T21:04:41Z) - Precise Shield: Explaining and Aligning VLLM Safety via Neuron-Level Guidance [64.18179414483966]
実世界のデプロイメントでは、VLLM(Vision-Language Large Models)は、多言語およびマルチモーダル複合攻撃による重要な課題に直面している。
危険入力と良入力のアクティベーションパターンを対比することにより、まず安全ニューロンを識別する2段階のフレームワークであるPrecise Shieldを提案する。
この戦略は多言語および多モーダルの一般化を維持しながら安全性を大幅に向上させる。
論文 参考訳（メタデータ） (2026-04-10T02:42:52Z) - MHDash: An Online Platform for Benchmarking Mental Health-Aware AI Assistants [2.89303424493]
我々は、メンタルヘルスアプリケーションのためのAIシステムの開発、評価、監査を支援するために設計されたオープンソースのプラットフォームであるMHDashを紹介する。
以上の結果から, 単純ベースラインと高度なLCM APIは, 高リスク症例においてほぼ同等の精度を示しつつも, 極めて多岐にわたることが示唆された。
MHDashをオープンプラットフォームとしてリリースすることで、再現可能な研究、透過的な評価、メンタルヘルス支援のためのAIシステムの安全に整合した開発を促進することを目指している。
論文 参考訳（メタデータ） (2026-01-30T22:03:31Z) - The Slow Drift of Support: Boundary Failures in Multi-Turn Mental Health LLM Dialogues [1.7697598440512727]
本稿では,多ターンストレステストフレームワークを提案し,最先端の3つの大言語モデルに対して長時間対話型安全試験を行う。
我々は,50の仮想患者プロファイルを生成し,最大20ラウンドの仮想精神科対話を通じて,各モデルをストレステストした。
論文 参考訳（メタデータ） (2026-01-02T05:42:28Z) - Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。
Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。
私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
論文 参考訳（メタデータ） (2025-09-02T03:04:27Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳（メタデータ） (2025-02-19T05:58:52Z) - Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model [73.8765529028288]
我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。
この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。
以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
論文 参考訳（メタデータ） (2024-06-21T16:14:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。