論文の概要: A corpus-specific clinical RAG system matches or outperforms newer frontier LLMs on HealthBench

• arxiv url: http://arxiv.org/abs/2608.12138v1
• Date: Wed, 12 Aug 2026 14:55:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.619614
• Title: A corpus-specific clinical RAG system matches or outperforms newer frontier LLMs on HealthBench
• Title（参考訳）: コーパス特異的臨床RAGシステムはHealthBench上の新しいフロンティアLEMと一致またはより優れる
• Abstract要約: VITA(VITA)は、インドにおける文脈知識検索のための検索拡張型生成システムである。 これは、病原性ガイドライン、インド固有の抗菌抵抗データ、国家の定式化制約、リソース制限されたケアプロトコルのキュレーションされたコーパスから取得する。 英語のHealthBenchの4,023の質問で、VITAは51.9%で、GCT-5.4 (46.1%)、o4-mini (44.3%)、Gemini 3.1 Pro (42.6%)、Claude Sonnet 4.6 (37.3%)を上回り、45.4%で最高となった。
• 参考スコア（独自算出の注目度）: 1.4053129774629074
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: General-purpose large language models (LLMs) have recently been reported to match or exceed specialized clinical AI tools on medical benchmarks, but such comparisons draw on a narrow set of systems and on benchmarks developed largely in high-income settings. We evaluate VITA, a retrieval-augmented generation (RAG) system purpose-built for contextual knowledge retrieval in India and other low- and middle-income (LMIC) settings. VITA retrieves from a curated corpus of disease-specific guidelines, India-specific antimicrobial resistance data, national formulary constraints, and resource-limited care protocols; its architecture and corpus are proprietary, but the benchmark, the physician-written rubrics, and our full response and scoring outputs are public for independent verification. On 4,023 English-language HealthBench questions (80.5% of the benchmark), scored with a GPT-4.1 judge, VITA ranked first with 51.9% of possible rubric points, ahead of GPT-5.4 (46.1%), o4-mini (44.3%), Gemini 3.1 Pro (42.6%), and Claude Sonnet 4.6 (37.3%), and scored highest on 45.4% of questions. To test robustness to newer models and judge lineage, a 500-question subset was re-run against current-generation models (GPT-5.5, Claude Opus 4.8, Gemini 3.5 Pro, Grok 4.3) and graded by a neutral open-weight judge (DeepSeek-V4-Pro) sharing no lineage with any system tested. Here the gap narrowed to parity: VITA and GPT-5.5 were statistically indistinguishable on mean per-question score, while VITA led on points-weighted score and won the most questions. VITA's advantages in accuracy and completeness persisted under the neutral judge; its communication scores were lower. These results indicate that a purpose-built clinical RAG system remains competitive with frontier LLMs on an open benchmark, consistent with corpus specificity as a design variable that improves grounding at some cost to communication polish.
• Abstract（参考訳）: 汎用大規模言語モデル(LLM)は、最近医学ベンチマークにおいて、専門的な臨床AIツールに適合または超えていると報告されているが、そのような比較は、限られたシステムと、主に高収入環境で開発されたベンチマークで引き起こされている。 インドにおける文脈知識検索のための検索強化世代(RAG)システムであるVITAと、その他の低所得層と中所得層(LMIC)の設定を評価する。 VITAは、疾患特異的ガイドライン、インド固有の抗菌抵抗データ、国家公式制約、リソース制限されたケアプロトコルのキュレートされたコーパスから、そのアーキテクチャとコーパスはプロプライエタリですが、ベンチマーク、医師書きのルーリック、我々の完全な応答とスコアアウトプットは、独立して検証するために公開されています。 4,023の英語のHealthBench質問(ベンチマークの80.5%)で、GPT-4.1の判定で、VITAは51.9%で、GPT-5.4(46.1%)、o4-mini(44.3%)、Gemini 3.1 Pro(42.6%)、Claude Sonnet 4.6(37.3%)を上回り、45.4%で最高となった。 新しいモデルと判断系統の堅牢性をテストするため、500クエストサブセットは現行モデル(GPT-5.5、Claude Opus 4.8、Gemini 3.5 Pro、Grok 4.3)に対して再実行され、中立なオープンウェイト判事(DeepSeek-V4-Pro)がテストしたシステムとラインを共有しない。 VITA と GPT-5.5 は平均問合せスコアで統計的に区別できないが、VITA はポイント重み付けスコアでリードし、最も多くの質問を勝ち取った。 VITAの精度と完全性の優位性は中立判事の下で継続され、通信スコアは低かった。 以上の結果から,オープンベンチマークにおいて,汎用的な臨床RAGシステムとフロンティアLSMとの競争が継続し,コーパス特異性を設計変数として定義し,コミュニケーション研磨にいくらかのコストで接地を改善することが示唆された。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• When Reasoning Hurts: Source-Aware Evaluation of Frontier LLMs for Clinical SOAP Note Generation [0.0]
  推論可能なLSMは、医学的推論ベンチマークで強く機能するが、これらが構造化された臨床文書に移行するかどうかは不明だ。 OMI Health, ACI-Bench, PriMock57 にまたがるソース・アウェア・ベンチマークにおいて, 臨床対話からのSOAPノート生成を用いてこの問題を考察する。 GPT-5.4, DeepSeek-V4-Flash, Gemma-4-E4Bを2x2の設計で評価した。
  論文  参考訳（メタデータ） (2026-05-24T06:58:57Z)
• Are Multimodal LLMs Ready for Clinical Dermatology? A Real-World Evaluation in Dermatology [6.096816682256677]
  MLLM(Multimodal large language model)は、一般に利用可能な皮膚科のベンチマークで約束されている。 オープンウェイトMLLM (InternVL-Chat v1.5, LLaVA-Med v1.5, SkinGPT4, MedGemma-4B-Instruct) と市販MLLM (GPT-4.1) を3つの皮膚科学データセットで比較検討した。 診断性能は公開データセットでは軽度であり、現実世界のコホートでは大幅に低下した。
  論文  参考訳（メタデータ） (2026-05-01T02:54:07Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• A DeepSeek-Powered AI System for Automated Chest Radiograph Interpretation in Clinical Practice [83.11942224668127]
  Janus-Pro-CXR (1B) はDeepSeek Janus-Proモデルに基づく胸部X線解釈システムである。 本システムは, 自動レポート生成において, 最先端のX線レポート生成モデルより優れる。
  論文  参考訳（メタデータ） (2025-12-23T13:26:13Z)
• Hulu-Med: A Transparent Generalist Model towards Holistic Medical Vision-Language Understanding [112.46150793476603]
  透明で汎用的な医用ビジョンランゲージモデル(VLM)であるHulu-Medを紹介する。 Hulu-Medは1670万サンプルのキュレートされたコーパスで訓練されており、12の解剖学的システムと14の医用画像モダリティにまたがっている。 Hulu-Medは、30ベンチマーク中27ベンチマークで既存のオープンソースモデルを上回っ、16ベンチマークでGPT-4oなどのプロプライエタリシステムを上回っている。
  論文  参考訳（メタデータ） (2025-10-09T17:06:42Z)
• Grounding Large Language Models in Clinical Evidence: A Retrieval-Augmented Generation System for Querying UK NICE Clinical Guidelines [1.9615061725959186]
  本稿では,Large Language Models (LLMs) を用いたNICE (National Institute for Health and Care Excellence) 臨床ガイドラインを検索するための検索型生成システムの開発と評価について述べる。 このシステムの検索アーキテクチャは,300のガイドラインから抽出した10,195個のテキストチャンクのデータベースに対して,ハイブリッドな埋め込み機構によって構成されている。 平均相反ランク(MRR)が0.814、第1チャンクで81%、検索チャンクで99.1%のリコールが7901クエリで評価されている。
  論文  参考訳（メタデータ） (2025-10-03T12:57:13Z)
• EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
  医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。 ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。 医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
  論文  参考訳（メタデータ） (2025-09-24T14:09:55Z)
• Preserving Privacy, Increasing Accessibility, and Reducing Cost: An On-Device Artificial Intelligence Model for Medical Transcription and Note Generation [0.0]
  Llama 3.2 1Bモデルを用いて,プライバシ保護・オンデバイス医療転写システムの開発と評価を行った。 このモデルは、完全にブラウザ内で完全なデータ主権を維持しながら、医療転写から構造化された医療メモを生成することができる。
  論文  参考訳（メタデータ） (2025-07-03T01:51:49Z)
• LEME: Open Large Language Models for Ophthalmology with Advanced Reasoning and Clinical Validation [29.913581347375256]
  大規模言語モデル(LLM)は、ドキュメントの作業量を削減し、臨床的な意思決定をサポートする、有望なパスを提供する。 本稿では,2段階プロセスで開発したオープンウェイトLLMのスイートであるLEMEについて述べる。 LEMEは、患者QA、相談、治療計画などのタスクにまたがる5つのゼロショットベンチマークで評価された。
  論文  参考訳（メタデータ） (2024-10-01T02:43:54Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• A Systematic Evaluation of GPT-4V's Multimodal Capability for Medical Image Analysis [87.25494411021066]
  医用画像解析のためのGPT-4Vのマルチモーダル機能の評価を行った。 GPT-4Vは医用画像の理解に優れ、高品質な放射線診断レポートを生成する。 医用視覚接地の性能は大幅に改善する必要があることが判明した。
  論文  参考訳（メタデータ） (2023-10-31T11:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。