論文の概要: Decision language models as affordable and rapid alternatives to LLM judges of clinical generative AI

• arxiv url: http://arxiv.org/abs/2610.28826v1
• Date: Tue, 20 Oct 2026 18:46:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.126158
• Title: Decision language models as affordable and rapid alternatives to LLM judges of clinical generative AI
• Title（参考訳）: クリニカル・ジェネレーティブ・AIのLCM判定に対する手頃で迅速な代替手段としての決定言語モデル
• Abstract要約: 我々は、構造化された判断を返す決定言語モデルであるJevと、フロンティアとオープンウェイトLLMの判定結果を比較した。 小児科における118の回答では、医師の規則的品質評価とのJevの合意は、12人のLCM審査員のうち7人と一致または上回った。 Jevは、大規模で効率的な臨床AI評価を可能にする。
• 参考スコア（独自算出の注目度）: 0.6745954495039946
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Automated judges of clinical artificial intelligence (AI) outputs are necessary, but large language model (LLM) judges are costly and slow at scale. We compared Jev, a decision language model that returns structured judgments, with frontier and open-weight LLM judges in four use cases. On 118 pediatric answers, Jev's agreement with physicians' ordinal quality ratings (Gwet's AC2 0.50; expected score 0.53) matched or exceeded that of seven of 12 LLM judges, including frontier models, Claude Opus 5.5 (0.49) and GPT-6 (0.38). On physician-graded binary HealthBench criteria, Jev matched or exceeded four of six LLM judges. On MedHELM's open-ended tasks, Jev's agreement with a three-LLM jury approached or exceeded the jurors' internal agreement. On HealthBench Professional, Jev matched the benchmark's reference judge, GPT-5.4, on 91% of criteria (other judges, 91-93%). Frontier judges cost 73-294 times more than Jev and took 7-57 times longer. Jev may enable efficient clinical AI evaluation at scale.
• Abstract（参考訳）: 臨床人工知能(AI)のアウトプットの自動化は必要だが、大規模言語モデル(LLM)の判断はコストがかかり、規模も遅い。 我々は、構造化された判断を返す決定言語モデルであるJevと、フロンティアとオープンウェイトLLMの4つのユースケースにおける判断結果を比較した。 118名の小児科の回答では、医師の基準基準(Gwet's AC2 0.50; expected score 0.53)とのJevの合意は、フロンティアモデル、クロード・オプス5.5(0.49)、GPT-6(0.38)を含む12名のLCM判事の7名と一致または上回った。 医師級のHealthBench基準では、Jevは6人のLSM審査員のうち4人以上と一致した。 メドヘルムのオープン・エンド・タスクでは、ジェヴと3人のLLM陪審員との合意が陪審員の内部合意に近づいたか超えた。 HealthBench Professionalでは、Jevはベンチマークの基準審査員であるGPT-5.4と91%の基準で一致した(他の審査員は91-93%)。 フロンティアの審査員はJevの73-294倍の費用と7-57倍の費用を要した。 Jevは、大規模で効率的な臨床AI評価を可能にする。

関連論文リスト

• JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places [34.429649156970015]
  Jevを7つのベンチマークから9つのパネル上の3つのフラッシュレベルLCMの判定値と比較する。 Jevの精度は、27のペア比較のうち、少なくとも8つのペア比較において、それらと大きく異なる。 規則上の基準では、全てのLLM判事とJevは共にヒトのラッカーから出発する。
  論文  参考訳（メタデータ） (2026-09-24T13:16:21Z)
• A corpus-specific clinical RAG system matches or outperforms newer frontier LLMs on HealthBench [1.4053129774629074]
  VITA(VITA)は、インドにおける文脈知識検索のための検索拡張型生成システムである。 これは、病原性ガイドライン、インド固有の抗菌抵抗データ、国家の定式化制約、リソース制限されたケアプロトコルのキュレーションされたコーパスから取得する。 英語のHealthBenchの4,023の質問で、VITAは51.9%で、GCT-5.4 (46.1%)、o4-mini (44.3%)、Gemini 3.1 Pro (42.6%)、Claude Sonnet 4.6 (37.3%)を上回り、45.4%で最高となった。
  論文  参考訳（メタデータ） (2026-08-12T14:55:46Z)
• Can LLMs Score Medical Diagnoses and Clinical Reasoning as well as Expert Panels? [0.7857924499207116]
  専門家のクリニックパネルを使用して医療AIシステムを評価するのは費用がかかり、遅いため、代案として大規模言語モデル(LLM)を使用する動機がある。 そこで我々は,300の現実世界中所得国(MIC)で3333の診断結果を得た3つのフロンティアAIモデルからなるLLM審査員を評価した。 LLM陪審とAIモデル診断を組み合わせることで、高いエラーリスクで病棟診断を識別できることがわかった。
  論文  参考訳（メタデータ） (2026-04-16T11:32:09Z)
• MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks [47.486705282473984]
  大規模言語モデル(LLM)は、医学試験においてほぼ完璧なスコアを得る。 これらの評価は、実際の臨床実践の複雑さと多様性を不十分に反映している。 MedHELMは,医療業務におけるLCMの性能を評価するための評価フレームワークである。
  論文  参考訳（メタデータ） (2025-05-26T22:55:49Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。