論文の概要: From Clinical Judgment to Checkable Rules: Clinician-Led Guardrails for Mental-Health Chatbots

• arxiv url: http://arxiv.org/abs/2610.30690v1
• Date: Thu, 22 Oct 2026 04:02:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.207537
• Title: From Clinical Judgment to Checkable Rules: Clinician-Led Guardrails for Mental-Health Chatbots
• Title（参考訳）: 臨床判断からチェック可能なルールへ:メンタルヘルス・チャットボットのクリニカルリードガードレール
• Abstract要約: 2人の臨床医がルールベースの4つの安全チェックを定義し、確定し、調整するクリニック主導の代替案について述べる。 得られた検証層のすべての検証は、名前付きルールと16の事実から再計算可能である。 裁判官との意見の不一致は、名前付きルールと事実に局所化し、その測定コストは名前付き事実と不確実性デフォルトに起因している。
• 参考スコア（独自算出の注目度）: 0.3624700141426058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) deployed in mental-health contexts can be evaluated for safety failures, but the resulting judgments are often difficult to inspect or explain. Common approaches to improving safety rely on prompt engineering, LLM-as-a-Judge, and Constitutional AI. In this work, we describe a clinician-led alternative in which two clinicians define, finalize, and adjudicate the four safety checks of a rule base, which is formally verified for internal consistency and applied as a guardrail over LLM outputs. Here and in the title, clinician-led refers to this rule base, not to the fact extractor or the uncertainty default, which are ours. Every verdict of the resulting verification layer is recomputable from a named rule and sixteen facts. Against an LLM judge matched in model, revision, quantization, rule text, and decoding but without the layer's computed 988/911 fact, the largest disagreement class, the satisfied-rule class, is structured: the Llama-3.3-70B judge, on its primary prompt, demands a crisis resource from 55 of the 65 replies (84.6%) that already contain one, while the same model, asked as a fact extractor, reports a recognized resource present on 54 of the 55. The verification layer never raises that demand, by construction. We report with equal prominence where this judge is stronger: fewer false crisis alarms on the one reference-scored check. We also report the measured cost (a specification revision raised block-class outcomes on held-out boundary prompts of an over-refusal benchmark from 6.0% to 16.0%, chiefly by changing fact extraction), the clinicians' decision to keep our uncertainty default, and the analysis of the result. The contribution is not a safer verdict. It is a guardrail whose disagreements with the judge localize to named rules and facts and whose measured costs trace to named facts and the uncertainty default.
• Abstract（参考訳）: 重大言語モデル(LLM)をメンタルヘルスの文脈に配置することは、安全性の失敗に対して評価することができるが、その結果の判断は検査や説明が難しいことが多い。 安全性を改善するための一般的なアプローチは、迅速なエンジニアリング、LLM-as-a-Judge、およびコンスティチューショナルAIに依存している。 本研究は, 2人の臨床医が規則の4つの安全チェックを定義し, 確定し, 調整し, 内部整合性を確認し, LLM出力に対するガードレールとして適用する, 臨床医主導の代替案について述べる。 ここで and the title において、クリニック主導は、事実抽出者や不確実なデフォルトではなく、このルールベースを指す。 得られた検証層のすべての検証は、名前付きルールと16の事実から再計算可能である。 LLMの審査員はモデル、リビジョン、量子化、ルールテキスト、復号に適合するが、計算された988/911の事実がなければ、最大の不一致クラスである満足ルールクラスが構成される: Llama-3.3-70Bの審査員は、第一のプロンプトで、既に1つを含む65の回答(84.6%)のうち55の危機リソースを要求するが、同じモデルが事実抽出器として要求され、55の54の認定リソースを報告している。 検証層は、建設によってその需要を上昇させることはない。 我々は、この裁判官が強くなっている同名の裁判官に報告する: 基準付きチェックの偽の危機警報を少なくする。 また, 測定コストについて報告し, オーバーリファレンスを6.0%から16.0%に引き上げ, 臨床医が不確実性をデフォルトにすること, 結果の分析を行った。 その貢献はより安全な評決ではない。 裁判官との意見の不一致は、名前付きルールと事実に局所化し、その測定コストは名前付き事実と不確実性デフォルトに起因している。

関連論文リスト

• InsClaimBench: Benchmarking Insurance Claim Adjudication Across the Decision Chain [8.478567992957428]
  InsClaimBenchは、意思決定チェーン全体で保険請求の判断を評価するためのエンドツーエンドのベンチマークである。 それは、各クレームを、判断と金額の支払いのための判断モジュールを通じて、原子規則から評価する。 6つの大きな言語モデルの評価は、決定連鎖に沿って信頼性が徐々に低下していることを明らかにする。
  論文  参考訳（メタデータ） (2026-10-07T08:35:23Z)
• CARGO: Context-Aware Retrieval-Gated Evaluation of Agentic AI in Production [0.0]
  CARGOは、検索された参照を手続き的な例証として扱い、ライブインスタンスの観察されたコンテキストにおける事実判断を根拠とするフレームワークである。 CARGO-Benchでは、標準基準に基づく裁判官は、正しい実体変換された回答の100%を罰し、非形式的である(差別指標DI 0)。 CARGOはまた、独自の設計の制限を公開している。エンティティ値を保護する冗長性は、手続き的腐敗の検出を抑制する。
  論文  参考訳（メタデータ） (2026-09-24T19:10:52Z)
• Evaluating medical AI under missing information: same-provider judges and human raters change apparent safety [0.0]
  ストレステストでは、HealthBench会話の最後の半分を削除し、4つのプロジェクタLDM-judgeパネルとブラインドされたクリニックアンコールで回答をグラデーションすることで、4つのモデルをテストした。 評価対象の2つの結果は堅牢である。第一に、判断選択は明らかに安全性を著しく変える。 第二に、LLMの審査員は盲目の50石のサブサンプルで臨床医よりも寛容である。
  論文  参考訳（メタデータ） (2026-07-21T08:05:35Z)
• Trivial Prompt Reframing Bypasses Safety Guardrails in Googleś MedGemma-4B [0.0]
  オープンウェイト医療言語モデルは、患者向けおよび臨床支援アプリケーションの基礎として、ますます利用されている。 MedGemma-4B-itの技術的洗練を必要としない攻撃におけるギャップを定量化する。
  論文  参考訳（メタデータ） (2026-07-09T18:31:43Z)
• A Multi-Stage Validation Framework for Trustworthy Large-scale Clinical Information Extraction using Large Language Models [1.9110728489340625]
  大規模言語モデル(LLM)は、非構造化の健康記録から臨床的に意味のある情報を抽出する約束を示す。 LLMに基づく臨床情報抽出のための多段階検証フレームワークを提案する。 919,783名の臨床ノートから11種類の物質分類で診断された物質使用障害の抽出に本枠組みを適用した。
  論文  参考訳（メタデータ） (2026-04-07T16:23:52Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
  我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。 6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。 結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:38:16Z)
• Beyond Benchmarks: Dynamic, Automatic And Systematic Red-Teaming Agents For Trustworthy Medical Language Models [87.66870367661342]
  大規模言語モデル(LLM)は、医療におけるAIアプリケーションで使用される。 LLMを継続的にストレステストするレッドチームフレームワークは、4つのセーフティクリティカルなドメインで重大な弱点を明らかにすることができる。 敵エージェントのスイートは、自律的に変化するテストケースに適用され、安全でないトリガー戦略を特定し、評価する。 私たちのフレームワークは、進化可能でスケーラブルで信頼性の高い、次世代の医療AIのセーフガードを提供します。
  論文  参考訳（メタデータ） (2025-07-30T08:44:22Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。