論文の概要: DistressBench: Evaluating Multi-Dimensional Crisis Support in Large Language Models
- arxiv url: http://arxiv.org/abs/2610.12758v1
- Date: Thu, 08 Oct 2026 22:09:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.295623
- Title: DistressBench: Evaluating Multi-Dimensional Crisis Support in Large Language Models
- Title（参考訳）: DistressBench: 大規模言語モデルにおける多次元危機支援の評価
- Abstract要約: 臨床医が認可したユーザーとの718の英語会話であるDistressBenchについて紹介する。
モデルのスコアは、応答が満足する基準よりも重み付けされた平均であり、必要なケアのごく一部として直接読まれる。
我々は,コーパス,ルーリック,ジャッジキャリブレーションラベル,および20個のロングホライズン・レッドチーム・トランスクリプトのアタッチメントを公表した。
- 参考スコア（独自算出の注目度）: 2.246469839445095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models have been adopted faster than evaluation practices that reliably assess their risks, and a growing share of use is affective rather than informational. Within that traffic users disclose suicide and self-harm (SSH) crises. Existing safety benchmarks score models primarily on refusal, but refusal is not the desired behavior here; the conversation requires a substantive supportive response. We introduce DistressBench, 718 English conversations with clinician-authored user turns spanning 23 SSH subcategories, each paired with a task-specific rubric of weighted atomic criteria across seven dimensions of crisis support and a clinician reference response. A model's score is the weighted average over the criteria its reply satisfies, reading directly as the fraction of required care delivered. The best of 25 frontier models satisfies 88.4% of weighted criteria and the median model 71.4%, against 98.7% for clinician references scored on the same criteria. Pooled across all 25 models, in 35.3% of conversations where a model satisfied every criterion for recognizing the crisis, it failed to route the user toward human help. The shortfall concentrates in the dimensions requiring the model to act rather than withhold. Contrasting each dimension's median model against its best separates capability limits from choices: de-escalation reaches 74.6% in the strongest model against a median of 46.0%, and safety disclaimers 84.6% against 8.3%. Multi-turn conversations score below single-turn ones (68.5% against 74.2%). We release the corpus, rubrics, judge calibration labels, and a companion annex of 20 long-horizon red-team transcripts. These results argue for evaluating crisis safety on the care a model delivers rather than on what it declines to say, and for treating de-escalation and resource routing as deployment requirements.
- Abstract（参考訳）: 言語モデルは、そのリスクを確実に評価する評価プラクティスよりも速く採用されている。
そのトラフィックの中で、ユーザは自殺と自傷(SSH)の危機を公表する。
既存の安全ベンチマークは、主に拒絶に基づいてモデルを評価するが、拒否はここで望ましい行動ではない。
臨床医が作成した23のSSHサブカテゴリにまたがる718の英語会話であるDistressBenchを紹介する。
モデルのスコアは、応答が満足する基準よりも重み付けされた平均であり、必要なケアのごく一部として直接読まれる。
25のフロンティアモデルのうち最高のものは、重み付けされた基準の88.4%、中央値の71.4%であり、同じ基準で測定された診療基準の98.7%である。
25モデル全てにポーリングされ、35.3%の会話で、危機を認識した全ての基準を満足させたが、ユーザーを人間の助けに導くことはできなかった。
欠点は、モデルを保留するよりも行動する必要がある次元に集中している。
脱エスカレーションは46.0%に対して最強のモデルで74.6%に達し、安全宣言者は84.6%、8.3%である。
マルチターン会話はシングルターン会話より低い(68.5%対74.2%)。
我々は,コーパス,ルーリック,ジャッジキャリブレーションラベル,および20個のロングホライズン・レッドチーム・トランスクリプトのアタッチメントを公表した。
これらの結果は、モデルが言うところの減少ではなく、ケアにおいて危機の安全性を評価すること、デエスカレーションやリソースルーティングをデプロイメント要件として扱うことを主張する。
関連論文リスト
- CreateScore: Domain-Theory-Informed Bayesian Routing for LLM-Based CV Screening [0.0]
提案するCreateScoreは、基準レベルLLMルーティングのためのドメイン理論インフォームドベイズネットワークである。
ディリクレ・マルチノミカル条件付き確率表を持つグラフは、CV証拠を後続の不確実性に変換する。
低不確実性判定は局所8Bモデルによって解決され、不確実性判定は120B参照モデルにエスカレーションされる。
論文 参考訳（メタデータ） (2026-10-02T08:06:24Z) - K-Bench: a clinically calibrated benchmark for evaluating large language models in high-risk mental health conversations [1.6247217262916298]
K-Benchは、14のプロバイダから33のベースモデルを表す125のモデル構成を評価する。
凍ったGPT-4o判事は6,751項目の比較で、臨床医のコンセンサスと94.2%の正確な一致を得た。
主観的モデルは強い支持的会話と複合リスクスコアを95以上と組み合わせた。
論文 参考訳（メタデータ） (2026-09-14T16:49:23Z) - Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳（メタデータ） (2026-09-07T10:22:22Z) - Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。
選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。
これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文 参考訳（メタデータ） (2026-04-20T00:57:31Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳（メタデータ） (2026-03-02T00:50:39Z) - CRADLE Bench: A Clinician-Annotated Benchmark for Multi-Faceted Mental Health Crisis and Safety Risk Detection [8.296902072126182]
我々は,多面的危機検出のベンチマークであるCRADLE BENCHを紹介する。
本ベンチマークでは,600名の臨床医による評価例と420名の開発例を提供する。
コンセンサスおよび全会一致で定義されたサブセット上での6つの危機検出モデルをさらに微調整する。
論文 参考訳（メタデータ） (2025-10-27T20:32:38Z) - Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。
我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
論文 参考訳（メタデータ） (2025-10-16T12:23:13Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳（メタデータ） (2025-08-22T08:38:16Z) - Holistic Evaluation of Language Models [183.94891340168175]
言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。
本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
論文 参考訳（メタデータ） (2022-11-16T18:51:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。