論文の概要: PsychEthicsBench: Evaluating Large Language Models Against Australian Mental Health Ethics
- arxiv url: http://arxiv.org/abs/2601.03578v1
- Date: Wed, 07 Jan 2026 04:49:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-09 02:15:23.265322
- Title: PsychEthicsBench: Evaluating Large Language Models Against Australian Mental Health Ethics
- Title（参考訳）: サイコ倫理ベンチ:オーストラリアにおけるメンタルヘルス倫理に対する大規模言語モデルの評価
- Authors: Yaling Shen, Stephanie Fong, Yiwen Jiang, Zimu Wang, Feilong Tang, Qingyang Xu, Xiangyu Zhao, Zhongxing Xu, Jiahe Liu, Jinpeng Hu, Dominic Dwyer, Zongyuan Ge,
- Abstract要約: メンタルヘルスでは、臨床的に不十分な拒絶は非共感的であり、助けを探すのを妨げていると見なすことができる。
このギャップに対処するため、私たちは拒絶中心のメトリクスを超えて、オーストラリアの心理学と精神医学のガイドラインに基づいた最初の原則に基づくベンチマークであるtextttPsychEthicsBenchを導入しました。
14モデルにわたる実証的な結果から、拒絶率は倫理的行動の指標に乏しいことが判明し、安全性の引き金と臨床的適切性の間に大きな違いがあることが判明した。
- 参考スコア（独自算出の注目度）: 35.52940216380734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing integration of large language models (LLMs) into mental health applications necessitates robust frameworks for evaluating professional safety alignment. Current evaluative approaches primarily rely on refusal-based safety signals, which offer limited insight into the nuanced behaviors required in clinical practice. In mental health, clinically inadequate refusals can be perceived as unempathetic and discourage help-seeking. To address this gap, we move beyond refusal-centric metrics and introduce \texttt{PsychEthicsBench}, the first principle-grounded benchmark based on Australian psychology and psychiatry guidelines, designed to evaluate LLMs' ethical knowledge and behavioral responses through multiple-choice and open-ended tasks with fine-grained ethicality annotations. Empirical results across 14 models reveal that refusal rates are poor indicators of ethical behavior, revealing a significant divergence between safety triggers and clinical appropriateness. Notably, we find that domain-specific fine-tuning can degrade ethical robustness, as several specialized models underperform their base backbones in ethical alignment. PsychEthicsBench provides a foundation for systematic, jurisdiction-aware evaluation of LLMs in mental health, encouraging more responsible development in this domain.
- Abstract（参考訳）: 大規模言語モデル(LLM)のメンタルヘルスアプリケーションへの統合は、プロの安全アライメントを評価するための堅牢なフレームワークを必要とします。
現在の評価アプローチは、主に拒絶に基づく安全信号に依存しており、臨床実践に必要なニュアンスな行動について限られた洞察を与えている。
メンタルヘルスでは、臨床的に不十分な拒絶は非共感的であり、助けを探すのを妨げていると見なすことができる。
このギャップに対処するために、私たちは拒絶中心のメトリクスを超えて、オーストラリアの心理学と精神医学ガイドラインに基づく最初の原則に基づくベンチマークである「texttt{PsychEthicsBench}」を導入します。
14モデルにわたる実証的な結果から、拒絶率は倫理的行動の指標に乏しいことが判明し、安全性の引き金と臨床的適切性の間に大きな違いがあることが判明した。
特に、ドメイン固有の微調整は、倫理的アライメントにおいて、いくつかの専門モデルがベースバックボーンを過小評価しているため、倫理的ロバスト性を低下させる可能性がある。
サイケエティクスベンチは、精神保健におけるLSMの体系的かつ司法的評価の基礎を提供し、この領域におけるより責任ある開発を促進する。
関連論文リスト
- EthicsMH: A Pilot Benchmark for Ethical Reasoning in Mental Health AI [0.2538209532048867]
このデータセットは、倫理的に課金された状況をAIシステムがどうナビゲートするかを評価するために設計された125のシナリオのパイロットデータセットである。
EthicsMHは、AI倫理とメンタルヘルスの意思決定を橋渡しするタスクフレームワークを確立する。
論文 参考訳（メタデータ） (2025-09-15T07:35:35Z) - Medical Reasoning in the Era of LLMs: A Systematic Review of Enhancement Techniques and Applications [59.721265428780946]
医学における大きな言語モデル(LLM)は印象的な能力を実現しているが、体系的で透明で検証可能な推論を行う能力に重大なギャップが残っている。
本稿は、この新興分野に関する最初の体系的なレビューを提供する。
本稿では,学習時間戦略とテスト時間メカニズムに分類した推論強化手法の分類法を提案する。
論文 参考訳（メタデータ） (2025-08-01T14:41:31Z) - Rethinking Evidence Hierarchies in Medical Language Benchmarks: A Critical Evaluation of HealthBench [0.0]
HealthBenchは、健康のためにAIシステムの能力を測定するために設計されたベンチマークである。
高レベルな臨床的証拠ではなく、専門家の意見に頼っているため、地域バイアスと個々の臨床医の同調を表わすリスクがある。
本稿では,体系的レビューとGRADEエビデンス評価を取り入れたバージョン管理臨床ガイドラインにおいて,報酬関数のアンカー化を提案する。
論文 参考訳（メタデータ） (2025-07-31T18:16:10Z) - Uncertainty-Driven Expert Control: Enhancing the Reliability of Medical Vision-Language Models [52.2001050216955]
既存の方法は、モデル構造を調整したり、高品質なデータで微調整したり、好みの微調整によって、医療ビジョン言語モデル(MedVLM)の性能を向上させることを目的としている。
我々は,MedVLMと臨床専門知識の連携を図るために,Expert-Controlled-Free Guidance (Expert-CFG) という,ループ内のエキスパート・イン・ザ・ループフレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-12T09:03:30Z) - MoodAngels: A Retrieval-augmented Multi-agent Framework for Psychiatry Diagnosis [58.67342568632529]
MoodAngelsは、気分障害の診断のための最初の特殊なマルチエージェントフレームワークである。
MoodSynは、合成精神医学の1,173件のオープンソースデータセットである。
論文 参考訳（メタデータ） (2025-06-04T09:18:25Z) - Beyond Empathy: Integrating Diagnostic and Therapeutic Reasoning with Large Language Models for Mental Health Counseling [50.83055329849865]
PsyLLMは、メンタルヘルスカウンセリングの診断と治療的推論を統合するために設計された大きな言語モデルである。
Redditから現実世界のメンタルヘルス投稿を処理し、マルチターン対話構造を生成する。
実験の結果,PsyLLMは最先端のベースラインモデルよりも優れていた。
論文 参考訳（メタデータ） (2025-05-21T16:24:49Z) - Ψ-Arena: Interactive Assessment and Optimization of LLM-based Psychological Counselors with Tripartite Feedback [51.26493826461026]
大規模言語モデル(LLM)の総合的評価と最適化のための対話型フレームワークであるPsi-Arenaを提案する。
アリーナは、心理学的にプロファイルされたNPCクライアントとの多段階対話を通じて現実世界のカウンセリングをシミュレートする現実的なアリーナ相互作用を特徴としている。
8つの最先端のLLM実験は、異なる実世界のシナリオと評価の観点で大きなパフォーマンス変化を示す。
論文 参考訳（メタデータ） (2025-05-06T08:22:51Z) - Position: Beyond Assistance - Reimagining LLMs as Ethical and Adaptive Co-Creators in Mental Health Care [9.30684296057698]
このポジションペーパーは、大規模言語モデル(LLM)がメンタルヘルスドメインにどのように統合されるか、という変化を論じている。
我々は、単なる補助ツールではなく、共同創造者としての役割を主張する。
論文 参考訳（メタデータ） (2025-02-21T21:41:20Z) - Applying and Evaluating Large Language Models in Mental Health Care: A Scoping Review of Human-Assessed Generative Tasks [16.099253839889148]
大規模言語モデル(LLM)はメンタルヘルスのための有望なツールとして登場し、人間のような反応を生成する能力を通じてスケーラブルなサポートを提供する。
しかし, 臨床環境におけるこれらのモデルの有効性は明らかになっていない。
このスコーピングレビューは、これらのモデルが現実世界のシナリオで人間の参加者とテストされた研究に焦点を当てている。
論文 参考訳（メタデータ） (2024-08-21T02:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。