論文の概要: VERA-MH Concept Paper

• arxiv url: http://arxiv.org/abs/2510.15297v1
• Date: Fri, 17 Oct 2025 04:07:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.466635
• Title: VERA-MH Concept Paper
• Title（参考訳）: VERA-MH コンセプトペーパー
• Authors: Luca Belli, Kate Bentley, Will Alexander, Emily Ward, Matt Hawrilenko, Kelly Johnston, Mill Brown, Adam Chekroud,
• Abstract要約: 本稿では,メンタルヘルスにおけるAIチャットボットの安全性を自動評価するVERA-MHを紹介する。 プロセスを完全に自動化するために、2つのアシラリーAIエージェントを使用しました。 シミュレーションされた会話は、そのルーリックに基づいてそれらをスコアする審査員に渡される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce VERA-MH (Validation of Ethical and Responsible AI in Mental Health), an automated evaluation of the safety of AI chatbots used in mental health contexts, with an initial focus on suicide risk. Practicing clinicians and academic experts developed a rubric informed by best practices for suicide risk management for the evaluation. To fully automate the process, we used two ancillary AI agents. A user-agent model simulates users engaging in a mental health-based conversation with the chatbot under evaluation. The user-agent role-plays specific personas with pre-defined risk levels and other features. Simulated conversations are then passed to a judge-agent who scores them based on the rubric. The final evaluation of the chatbot being tested is obtained by aggregating the scoring of each conversation. VERA-MH is actively under development and undergoing rigorous validation by mental health clinicians to ensure user-agents realistically act as patients and that the judge-agent accurately scores the AI chatbot. To date we have conducted preliminary evaluation of GPT-5, Claude Opus and Claude Sonnet using initial versions of the VERA-MH rubric and used the findings for further design development. Next steps will include more robust clinical validation and iteration, as well as refining actionable scoring. We are seeking feedback from the community on both the technical and clinical aspects of our evaluation.
• Abstract（参考訳）: 本稿では、メンタルヘルスにおけるAIチャットボットの安全性を自動評価するVERA-MH(Validation of Ethical and Responsible AI in Mental Health)を紹介する。 臨床医や学術専門家の実践は、評価のための自殺リスク管理のベストプラクティスによって知らされるルーブリックを開発した。 プロセスを完全に自動化するために、2つのアシラリーAIエージェントを使用しました。 ユーザエージェントモデルは、評価中のチャットボットとのメンタルヘルスベースの会話に従事するユーザをシミュレートする。 ユーザエージェントロールは、事前に定義されたリスクレベルやその他の機能を備えた特定のペルソナを再生する。 シミュレーションされた会話は、そのルーリックに基づいてそれらをスコアする審査員に渡される。 テスト中のチャットボットの最終的な評価は、各会話のスコアを集約することで得られる。 VERA-MHは、ユーザーエージェントが患者としてリアルに行動し、審査員がAIチャットボットを正確にスコアすることを保証するために、精神保健医による厳格な検証を積極的に進めている。 GPT-5, Claude Opus および Claude Sonnet を VERA-MH ルーブリックの初期バージョンを用いて予備評価し, さらなる設計開発に利用した。 次のステップには、より堅牢な臨床検証とイテレーション、実行可能なスコアの修正が含まれる。 評価の技術的側面と臨床的側面の両方について,コミュニティからフィードバックを求めている。

関連論文リスト

• Mentalic Net: Development of RAG-based Conversational AI and Evaluation Framework for Mental Health Support [0.0]
  メンタルネット会話AIはBERTスコアが0.898であり、他の評価指標は満足のいく範囲内にある。 我々は,このようなトランスフォーメーション技術を開発する上で,人間-イン-ザ-ループアプローチと長期的かつ責任ある戦略を提唱する。
  論文  参考訳（メタデータ） (2025-08-27T03:44:56Z)
• EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety [42.052840895090284]
  EmoAgentは、人間とAIのインタラクションにおけるメンタルヘルスハザードの評価と緩和を目的とした、マルチエージェントAIフレームワークである。 EmoEvalは、精神的に脆弱な個人を含む仮想ユーザをシミュレートして、AI文字との対話前後のメンタルヘルスの変化を評価する。 EmoGuardは仲介役として機能し、ユーザーのメンタルステータスを監視し、潜在的な害を予測し、リスクを軽減するための修正的なフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-04-13T18:47:22Z)
• Prompt Engineering a Schizophrenia Chatbot: Utilizing a Multi-Agent Approach for Enhanced Compliance with Prompt Instructions [0.0699049312989311]
  統合失調症の患者は、しばしば認知障害を伴い、自分の状態について学ぶ能力を妨げることがある。 大規模言語モデル(LLM)は、トピックのメンタルヘルス情報をよりアクセシビリティとエンゲージメントを高める可能性を秘めているが、それらのブラックボックスの性質は倫理と安全に関する懸念を喚起する。
  論文  参考訳（メタデータ） (2024-10-10T09:49:24Z)
• Building Trust in Mental Health Chatbots: Safety Metrics and LLM-Based Evaluation Tools [13.386012271835039]
  100のベンチマーク質問と理想的な回答を備えた評価フレームワークを作成しました。 このフレームワークはメンタルヘルスの専門家によって検証され、GPT-3.5ベースのチャットボットでテストされた。
  論文  参考訳（メタデータ） (2024-08-03T19:57:49Z)
• Beyond Static Evaluation: A Dynamic Approach to Assessing AI Assistants' API Invocation Capabilities [48.922660354417204]
  人間の関与なしにアシスタントのAPIコール能力を評価するために,自動動的評価(Automated Dynamic Evaluation, AutoDE)を提案する。 この枠組みでは,人間と機械の相互作用において,真の人間の会話パターンを忠実に反映するように努力する。
  論文  参考訳（メタデータ） (2024-03-17T07:34:12Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)
• LLM-empowered Chatbots for Psychiatrist and Patient Simulation: Application and Evaluation [18.98839299694749]
  この研究は、精神科医と患者シミュレーションのためのチャットボットにおけるChatGPTの可能性を探究することに焦点を当てている。 我々は精神科医と協力して目的を特定し、現実世界のシナリオと密接に整合する対話システムを反復的に開発する。 評価実験では、実際の精神科医や患者を雇い、チャットボットと診断会話を行い、評価のための評価を収集する。
  論文  参考訳（メタデータ） (2023-05-23T02:25:01Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。