論文の概要: HealthBench-Psych: A Mental Health Subset of OpenAI's HealthBench
- arxiv url: http://arxiv.org/abs/2608.25071v1
- Date: Tue, 25 Aug 2026 19:05:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.418383
- Title: HealthBench-Psych: A Mental Health Subset of OpenAI's HealthBench
- Title（参考訳）: HealthBench-Psych: OpenAIのHealthBenchのメンタルヘルスサブセット
- Abstract要約: 精神的な健康は、何百万人もの人が心理的支援のためにLSMに目を向けるので、深刻な公衆衛生上の懸念である。
われわれはHealthBenchの5000名の医師・医師・医師の会話を,透明なLDMルーブリックと精神健康との関連性について検討した。
再利用可能なリソースとして、サブセット、パイプライン、モデル応答、グレード、分析コードをリリースします。
- 参考スコア（独自算出の注目度）: 0.11916062930103712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: General-purpose health benchmarks increasingly anchor claims about LLM medical performance, but they are not always resolved by clinical specialty, making domain-specific performance hard to isolate. Mental health is of acute public-health concern as millions of people turn to LLMs for psychological support, and most existing evaluations are bespoke academic benchmarks that are difficult to integrate into developer workflows. We introduce HealthBench-Psych and HealthBench-Psych-Hard. We screened HealthBench's 5,000 physician-rubric conversations for mental-health relevance with a transparent LLM-applied rubric, then validated the subset through two rounds of blinded clinician review with concealed known-exclude controls, yielding 610 conversations (12.2% of the corpus). Evaluating 20 frontier and open models under a cross-vendor panel of three LLM judges, we find a statistically tied frontier cluster, measurable refusal behavior in two models, and near-identical rankings across judges ($τ\ge 0.92$). We release the subset, pipeline, model responses, grades, and analysis code as a reusable resource.
- Abstract（参考訳）: 汎用医療ベンチマークは、LSMの医療成績に関する主張をますます定着させているが、臨床専門性によって解決されるとは限らないため、ドメイン固有のパフォーマンスを分離しにくくしている。
何百万人もの人々が心理的サポートのためにLLMに目を向けているため、メンタルヘルスは深刻な公衆衛生上の懸念である。
私たちはHealthBench-PsychとHealthBench-Psych-Hardを紹介します。
われわれはHealthBenchの5000人の医師・医師・医師の会話を、透明なLSMを応用したルーブリックと関連づけるためにスクリーニングし、そのサブセットを2ラウンドのブラインドされたクリニックレビューを通じて検証し、既知のコントロールを隠蔽し、610の会話(コーパスの12.2%)を得た。
3人のLLM審査員のクロスベンダーパネルの下で20のフロンティアとオープンモデルの評価を行い、2つのモデルにおける統計的に結びついたフロンティアクラスタ、測定可能な拒絶行動、および審査員間のほぼ同一のランキング(τ\ge 0.92$)を見出した。
再利用可能なリソースとして、サブセット、パイプライン、モデル応答、グレード、分析コードをリリースします。
関連論文リスト
- Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
不完全な患者の医療反応を検出するために,この仮定をストレステストする。
我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
論文 参考訳（メタデータ） (2026-03-26T19:01:55Z) - Using LLM-as-a-Judge/Jury to Advance Scalable, Clinically-Validated Safety Evaluations of Model Responses to Users Demonstrating Psychosis [1.53934570513443]
一般用大規模言語モデル(LLM)は、メンタルヘルス支援のために広く採用されている。
しかし、新たな証拠は、特に精神病に苦しむ人に対して、高周波の使用に関連する重大なリスクがあることを示唆している。
本研究は, LLMの安全性評価の重要条件としての精神病に焦点を当てた。
論文 参考訳（メタデータ） (2026-03-20T04:31:03Z) - MedArena: Comparing LLMs for Medicine-in-the-Wild Clinician Preferences [50.71326426975699]
MedArenaは医療用大規模言語モデル(LLM)のためのインタラクティブな評価プラットフォームである。
MedArenaは、2つのランダムに選択されたモデルからの応答を表示し、ユーザが好みのレスポンスを選択するように要求する。
2025年11月1日までに12台のLLMで収集された1571の選好のうち、ジェミニ2.0フラッシュシンキング、ジェミニ2.5プロ、GPT-4oがブラッドリー・テリーのレーティングで上位3モデルとなった。
論文 参考訳（メタデータ） (2026-03-13T22:30:26Z) - When Can We Trust LLMs in Mental Health? Large-Scale Benchmarks for Reliable LLM Evaluation [14.24379104658635]
MentalBench-100kは、3つの実際のシナリオデータセットから1万のワンターン会話を統合する。
MentalBench-70kreframes の評価は,7つの属性に対する70,000のレーティングに対して,ハイパフォーマンスな4人の LLM 審査員と人間専門家を比較した。
分析の結果,LLM審査員による体系的なインフレーション,ガイダンスや情報性などの認知特性の信頼性,共感の精度の低下,安全性と妥当性の信頼性の低下が明らかになった。
論文 参考訳（メタデータ） (2025-10-21T19:21:21Z) - Psychiatry-Bench: A Multi-Task Benchmark for LLMs in Psychiatry [1.2879523047871226]
PsychiatryBenchは、専門家が検証した精神医学の教科書とケースブックにのみ基づく厳格にキュレートされたベンチマークである。
精神科ベンチは、診断的推論や治療計画から、縦断的フォローアップ、管理計画、臨床アプローチ、シーケンシャルケース分析、および5300件以上の専門家注釈項目からなる多重選択/拡張マッチングフォーマットまで、11種類の質問応答タスクから構成されている。
論文 参考訳（メタデータ） (2025-09-07T20:57:24Z) - OpenAIs HealthBench in Action: Evaluating an LLM-Based Medical Assistant on Realistic Clinical Queries [2.2807344448218507]
われわれはHealthBenchを用いてRAGをベースとした臨床サポートアシスタントDR.INFOを評価した。
1000の挑戦的な例のハードサブセットでは、DR.INFOはHealthBenchスコア0.51を達成している。
同様のエージェントRAGアシスタントに対する100サンプルの別評価では、ヘルスベンチスコア0.54のパフォーマンスリードを維持している。
論文 参考訳（メタデータ） (2025-08-29T09:51:41Z) - CounselBench: A Large-Scale Expert Evaluation and Adversarial Benchmarking of Large Language Models in Mental Health Question Answering [1.0262304700896199]
我々は,100人のメンタルヘルス専門家による大規模ベンチマークであるCounselBenchを紹介し,大規模言語モデル(LLM)の評価とストレステストを行う。
最初のコンポーネントであるCounselBench-EVALは、公開フォーラムCounselChatの患者に対する質問に対して、GPT-4、LLaMA 3、Gemini、およびヒトセラピストから2000の専門家による回答の評価を含んでいる。
専門家による評価では、LLMはいくつかの次元において高いスコアを得る一方で、非建設的フィードバック、過度な一般化、限定されたパーソナライゼーションや関連性など、繰り返し発生する問題も示している。
論文 参考訳（メタデータ） (2025-06-10T08:53:06Z) - LLMEval-Med: A Real-world Clinical Benchmark for Medical LLMs with Physician Validation [58.25892575437433]
医学における大規模言語モデル (LLMs) の評価は, 医療応用には精度が高く, 誤差の少ないため重要である。
LLMEval-Medは、5つの中核医療領域をカバーする新しいベンチマークであり、現実の電子健康記録から得られた2,996の質問と専門家が設計した臨床シナリオを含む。
論文 参考訳（メタデータ） (2025-06-04T15:43:14Z) - Beyond Empathy: Integrating Diagnostic and Therapeutic Reasoning with Large Language Models for Mental Health Counseling [50.83055329849865]
PsyLLMは、メンタルヘルスカウンセリングの診断と治療的推論を統合するために設計された大きな言語モデルである。
Redditから現実世界のメンタルヘルス投稿を処理し、マルチターン対話構造を生成する。
実験の結果,PsyLLMは最先端のベースラインモデルよりも優れていた。
論文 参考訳（メタデータ） (2025-05-21T16:24:49Z) - Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。
本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。
このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文 参考訳（メタデータ） (2025-03-06T18:35:39Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳（メタデータ） (2024-02-15T06:46:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。