Fugu-MT 論文翻訳(概要): Medical Fine-Tuning Reshapes, Not Reduces, Patient-Facing AI Risk: A Rubric-Based, LLM-Judge Evaluation Framework

論文の概要: Medical Fine-Tuning Reshapes, Not Reduces, Patient-Facing AI Risk: A Rubric-Based, LLM-Judge Evaluation Framework

arxiv url: http://arxiv.org/abs/2610.24807v1
Date: Sat, 17 Oct 2026 18:24:54 GMT
ステータス: 情報取得中
システム内更新日: 2026-10-20 11:55:19.311442
Title: Medical Fine-Tuning Reshapes, Not Reduces, Patient-Facing AI Risk: A Rubric-Based, LLM-Judge Evaluation Framework
Title（参考訳）: 医療ファインチューニングのリスクは低減せず, 患者によるAIリスク--ルブリックベースのLCM-Judge評価フレームワーク
Abstract要約: 大きな言語モデル(LLM)で答える患者向きの医療質問は、研究デモから製品展開へと移行している。応答は現実的に根拠付けられ、作用すれば患者に害を与えるという指示を出すことができる。リスク感応性評価フレームワークを導入し、リスク感応言語6つのカテゴリの存在と重症度によって応答を評価する。
参考スコア（独自算出の注目度）: 0.1609950046042424
License:
Abstract: Patient-facing medical question answering with large language models (LLMs) is moving from research demonstrations to production deployments, yet evaluation remains anchored on factual correctness. Factuality is necessary but not sufficient: a response can be factually grounded and still issue a directive that, if acted on, would harm the patient. We introduce a risk-sensitive evaluation framework that scores responses by the presence and severity of six categories of risk-bearing language (treatment directives, contraindications, dosage expressions, urgency-triage cues, high-alert medication mentions, and overconfident assertions), anchored on published clinical harm taxonomies. Severity is classified by a three-judge LLM ensemble. We apply this framework to six 7-9B instruction-tuned models, three general (Mistral-7B, Phi-3.5-mini, Llama-3.1-8B) and three medically adapted (BioMistral-7B, OpenBioLLM-Llama3-8B, Med42-Llama3-8B), on 200 real patient questions from the K-QA benchmark. Two findings emerge. First, ensemble risk-bearing language is statistically independent of factual hallucination rate (pooled Spearman $ρ= -0.065$, $n = 300$, 95% CI $[-0.18, +0.05]$; distance correlation $= 0.10$, independence test $p = 0.24$). Second, medical fine-tuning does not reduce aggregate risk but reshapes it: continued-pretraining adaptations (BioMistral, OpenBioLLM) consistently suppress high-alert medication mentions while amplifying overconfident assertions, whereas clinical instruction-tuning (Med42) suppresses dosing only, without amplifying overconfidence. Per-category Krippendorff $α$ is fair to good for the four linguistically anchored categories (0.53-0.71) and low for the two clinical-judgment-dependent categories (0.19, 0.31), indicating where automatic safety evaluation is and is not yet reliable. We release the rubric, judge prompts, and evaluation code.
Abstract（参考訳）: 大きな言語モデル(LLM)で答える患者向きの医療質問は、研究のデモンストレーションから製品展開へと移行している。応答は現実的に根拠付けられ、作用すれば患者に害を与えるという指示を出すことができる。本報告では, リスク対応言語(治療指示, 禁忌, 服用表現, 緊急処置, ハイアラート医薬品の言及, 過信の主張) の6つのカテゴリーの存在と重症度によって, リスクに敏感な評価フレームワークを導入する。重度は3重のLDMアンサンブルによって分類される。我々は,6つの7-9B命令調整モデル,3つの一般(Mistral-7B,Phi-3.5-mini,Llama-3.1-8B)と3つの医学的適応(BioMistral-7B,OpenBioLLM-Llama3-8B,Med42-Llama3-8B)を,K-QAベンチマークから200の患者質問に対して適用した。 2つの発見がある。スピアマン$ρ=-0.065$, $n = 300$, 95% CI $[-0.18, +0.05]$; 距離相関$= 0.10$, 独立テスト$p = 0.24$)。第2に、医療の微調整は総括リスクを減らさないが、不満を和らげる: 継続的な事前訓練適応(BioMistral、OpenBioLLM)は、自信過剰な主張を増幅しながら、常に高アラート医薬品の言及を抑えるが、臨床の指導微調整(Med42)は過剰な自信を増幅することなく、服用のみを抑える。カテゴリーごとのKrippendorff$α$は、言語学的に固定された4つのカテゴリー(0.53-0.71)と2つの臨床的判断に依存したカテゴリー(0.19, 0.31)に適しており、自動的な安全評価がどこにあるか、そしてまだ信頼性がないことを示している。ルーブリック、判断プロンプト、評価コードをリリースします。

関連論文リスト

Clinician-Level Agreement Without Clinical Caution: LLM Evaluator Limits in Medical AI Benchmarking [27.829988205900055]
MedQADEは、ドイツにおける最初の標準的オープンレスポンス臨床ベンチマークである。最高のパフォーマンス評価モデルであるGemini 3 Flashは、医師の天井と一致している。この統計的アライメントにもかかわらず、自動評価装置は臨床メタ認知に近づいた。
論文参考訳（メタデータ） (2026-07-01T15:55:31Z)
Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文参考訳（メタデータ） (2026-06-17T08:10:30Z)
Few-Shot Large Language Models for Actionable Triage Categorization of Online Patient Inquiries [0.0]
オンライン患者の問い合わせは、しばしば非公式で不完全であり、専門家の査定の前に書かれるが、適切なレベルの臨床フォローアップにルーティングされなければならない。我々はこれを,セルフケア,スケジュールビジット,緊急クリニシアンレビュー,緊急リファラルという,4段階の行動可能なトリアージタスクとして研究する。我々は,低リソースラベル付け条件下で,大規模言語モデル(LLM)がそのようなルーティングをサポートできるかどうかを問う。
論文参考訳（メタデータ） (2026-05-15T07:02:17Z)
ClinicalBench: Stress-Testing Assertion-Aware Retrieval for Cross-Admission Clinical QA on MIMIC-IV [0.0]
推論ベンチマークはクリーンインプットの臨床的パフォーマンスを測定する。我々は, 否定, 時間性, 家族反対の帰属が正しい答えを誤ったものに戻すことができる, 実際の EHR ノートを検索することで, 推論の段階を評価する。 EpiKGは、アサーションラベルと時間性タグを患者の知識グラフに格納し、質問意図による検索をルーティングする。
論文参考訳（メタデータ） (2026-05-11T18:47:52Z)
Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文参考訳（メタデータ） (2026-04-06T00:23:10Z)
Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
不完全な患者の医療反応を検出するために,この仮定をストレステストする。我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
論文参考訳（メタデータ） (2026-03-26T19:01:55Z)
PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文参考訳（メタデータ） (2026-03-02T00:50:39Z)
Prompt Sensitivity and Answer Consistency of Small Open-Source Large Language Models on Clinical Question Answering: Implications for Low-Resource Healthcare Deployment [0.0]
小規模のオープンソース言語モデルは、低リソース環境でのヘルスケアアプリケーションに注目を集めている。臨床質問応答データセットを用いて,5つのオープンソースモデル(Gemma 2 2B, Phi-3 Mini 3.8B, Llama 3.2 3B, Mistral 7B, Meditron-7B)を評価した。
論文参考訳（メタデータ） (2026-03-01T04:37:48Z)
Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering [94.37535002230504]
本研究では,Semantically Decoupled Latent Steeringと呼ばれる学習自由な推論時間制御フレームワークを開発した。提案手法は,大言語モデル (LLM) による意味分解による意味のない介入ベクトルを構築する。本手法は歴史的幻覚の可能性を著しく低下させることを示す。
論文参考訳（メタデータ） (2026-02-27T04:49:01Z)
MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。 6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文参考訳（メタデータ） (2025-08-22T08:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。