論文の概要: HealthBench: Evaluating Large Language Models Towards Improved Human Health

• arxiv url: http://arxiv.org/abs/2505.08775v1
• Date: Tue, 13 May 2025 17:53:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.700099
• Title: HealthBench: Evaluating Large Language Models Towards Improved Human Health
• Title（参考訳）: HealthBench: 人間の健康改善に向けた大規模言語モデルの評価
• Abstract要約: HealthBenchは、モデルと個人ユーザーまたは医療専門家の間の5000のマルチターン会話で構成されている。 262名の医師が作成した対話型ルーブリックを用いて応答を評価した。
• 参考スコア（独自算出の注目度）: 23.316422455713735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present HealthBench, an open-source benchmark measuring the performance and safety of large language models in healthcare. HealthBench consists of 5,000 multi-turn conversations between a model and an individual user or healthcare professional. Responses are evaluated using conversation-specific rubrics created by 262 physicians. Unlike previous multiple-choice or short-answer benchmarks, HealthBench enables realistic, open-ended evaluation through 48,562 unique rubric criteria spanning several health contexts (e.g., emergencies, transforming clinical data, global health) and behavioral dimensions (e.g., accuracy, instruction following, communication). HealthBench performance over the last two years reflects steady initial progress (compare GPT-3.5 Turbo's 16% to GPT-4o's 32%) and more rapid recent improvements (o3 scores 60%). Smaller models have especially improved: GPT-4.1 nano outperforms GPT-4o and is 25 times cheaper. We additionally release two HealthBench variations: HealthBench Consensus, which includes 34 particularly important dimensions of model behavior validated via physician consensus, and HealthBench Hard, where the current top score is 32%. We hope that HealthBench grounds progress towards model development and applications that benefit human health.
• Abstract（参考訳）: ヘルスケアにおける大規模言語モデルの性能と安全性を計測するオープンソースのベンチマークであるHealthBenchを紹介します。 HealthBenchは、モデルと個人ユーザーまたは医療専門家の間の5000のマルチターン会話で構成されている。 262名の医師が作成した対話型ルーブリックを用いて応答を評価した。 以前の複数選択または短問合せベンチマークとは異なり、HealthBenchは、いくつかの健康状況(例えば、緊急性、臨床データ変換、グローバルヘルス)と行動次元(例えば、正確性、指示従順、コミュニケーション)にまたがる48,562のユニークなルーリック基準を通じて、現実的に、オープンな評価を可能にする。 過去2年間のHealthBenchのパフォーマンスは、安定した初期進歩(GPT-3.5ターボの16%からGPT-4oの32%)と、より急激な改善(o3スコアは60%)を反映している。 小型モデルは特に改善されており、GPT-4.1ナノはGPT-4oより25倍安価である。 HealthBench Consensusは、医師のコンセンサスによって検証されたモデル行動の重要な次元を34つ含み、HealthBench Hardは32%である。 私たちはHealthBenchが、人間の健康に役立つモデル開発と応用に向けて前進することを願っている。

関連論文リスト

• A corpus-specific clinical RAG system matches or outperforms newer frontier LLMs on HealthBench [1.4053129774629074]
  VITA(VITA)は、インドにおける文脈知識検索のための検索拡張型生成システムである。 これは、病原性ガイドライン、インド固有の抗菌抵抗データ、国家の定式化制約、リソース制限されたケアプロトコルのキュレーションされたコーパスから取得する。 英語のHealthBenchの4,023の質問で、VITAは51.9%で、GCT-5.4 (46.1%)、o4-mini (44.3%)、Gemini 3.1 Pro (42.6%)、Claude Sonnet 4.6 (37.3%)を上回り、45.4%で最高となった。
  論文  参考訳（メタデータ） (2026-08-12T14:55:46Z)
• HealthBench Professional: Evaluating Large Language Models on Real Clinician Chats [3.9216944925903863]
  HealthBench Professionalは、実際のタスクで大きな言語モデルを評価するためのオープンベンチマークである。 それぞれの例には、臨床医のためのChatGPTとの医師による会話が含まれている。 最も優れたスコアシステムであるGPT-5.4は、臨床医のためのChatGPTで、ベースであるGPT-5.4、他のすべてのモデル、および人間の医師より優れている。
  論文  参考訳（メタデータ） (2026-04-30T06:13:01Z)
• Beyond Semantic Similarity: A Component-Wise Evaluation Framework for Medical Question Answering Systems with Health Equity Implications [0.957154155094766]
  本稿では,VBスコア(VB-Score)と呼ばれる医療質問応答のための新しい評価フレームワークを提案する。 我々は,よく知られた3つの大規模言語モデルの性能について,厳密なレビューを行う。 以上の結果から,各種公衆衛生分野におけるパフォーマンス格差の懸念が示唆された。
  論文  参考訳（メタデータ） (2026-04-21T09:50:08Z)
• WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics [0.6093095878992784]
  女性健康ベンチマーク(Women's Health Benchmark)は、10人の女性の健康トピックを対象とした47の専門家によるシナリオの評価スイートである。 臨床精度, 完全性, 安全性, コミュニケーション品質, 指示追従性, 公平性, 不確実性, ガイドライン順守性にまたがる23基準ルーブリックを用いて22種類のモデルを評価する。
  論文  参考訳（メタデータ） (2026-03-11T06:21:37Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context [82.32380418146656]
  Health-ORSC-Benchは、医療におけるtextbfOver-Refusalと textbfSafe Completionの品質を測定するために設計された最初の大規模ベンチマークである。 私たちのフレームワークは、人間の検証を備えた自動パイプラインを使用して、さまざまなレベルの意図の曖昧さでモデルをテストします。 Health-ORSC-Benchは、次世代の医療AIアシスタントを調整するための厳格な標準を提供する。
  論文  参考訳（メタデータ） (2026-01-25T01:28:52Z)
• Beyond the Rubric: Cultural Misalignment in LLM Benchmarks for Sexual and Reproductive Health [4.811306010183038]
  大型言語モデル (LLMs) は、グローバル・サウスの健康情報へのアクセスを拡大する可能性があると位置づけられている。 本研究は,インドにおける未治療地域社会を対象とした,性および生殖の健康(SRH)のためのチャットボットを用いた予備的なベンチマークエクササイズから得られた知見を提示する。 データセットから637のSRHクエリを抽出し、330のシングルターン会話で評価した。 本研究は、異なる文化的・医療的文脈で構築されたシステムの有効性を捉える上で、現在のベンチマークの限界を示すものである。
  論文  参考訳（メタデータ） (2025-11-12T16:01:27Z)
• Hulu-Med: A Transparent Generalist Model towards Holistic Medical Vision-Language Understanding [112.46150793476603]
  透明で汎用的な医用ビジョンランゲージモデル(VLM)であるHulu-Medを紹介する。 Hulu-Medは1670万サンプルのキュレートされたコーパスで訓練されており、12の解剖学的システムと14の医用画像モダリティにまたがっている。 Hulu-Medは、30ベンチマーク中27ベンチマークで既存のオープンソースモデルを上回っ、16ベンチマークでGPT-4oなどのプロプライエタリシステムを上回っている。
  論文  参考訳（メタデータ） (2025-10-09T17:06:42Z)
• MedGemma Technical Report [75.88152277443179]
  MedGemmaは、Gemma 3 4Bと27Bをベースとした医療ビジョン言語基盤モデルの集合体である。 MedGemmaは、画像とテキストの高度な医学的理解と推論を実証する。 また、SigLIPから派生した医用目視エンコーダであるMedSigLIPを紹介する。
  論文  参考訳（メタデータ） (2025-07-07T17:01:44Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Capabilities of Gemini Models in Medicine [100.60391771032887]
  医療専門のマルチモーダルモデルであるMed-Geminiを紹介する。 メドジェニーニを14の医療ベンチマークで評価し,その内10に新たな最先端(SoTA)性能を確立した。 我々の結果は、Med-Geminiの可能性を示唆する証拠を提供するが、より厳密な評価は実世界の展開に先立って重要である。
  論文  参考訳（メタデータ） (2024-04-29T04:11:28Z)
• Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks [17.40940406100025]
  私たちは、70億から700億のパラメータからなる、医療AIシステムの新しいファミリーであるMeerkatを紹介します。 我々のシステムは6つの医療ベンチマークで顕著な精度を達成した。 Meerkat-70Bは38例中21例を正しく診断し、ヒトの13.8例を上回った。
  論文  参考訳（メタデータ） (2024-03-30T14:09:00Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• The Last JITAI? Exploring Large Language Models for Issuing Just-in-Time Adaptive Interventions: Fostering Physical Activity in a Conceptual Cardiac Rehabilitation Setting [17.11253030181912]
  デジタルヘルスにおけるジャスト・イン・タイム・アダプティブ・インターベンション(JITAI)の内容のトリガーおよびパーソナライズにLarge Language Models (LLMs) を用いることの有効性を検討した。 GPT-4生成JITAIは人為的な介入提案を上回っ、すべての指標でLayPsとHCPsを上回った。
  論文  参考訳（メタデータ） (2024-02-13T18:39:36Z)
• Health-LLM: Large Language Models for Health Prediction via Wearable Sensor Data [43.48422400822597]
  大規模言語モデル(LLM)は多くの自然言語処理が可能であるが、完璧には程遠い。 本稿では、文脈情報に基づいて、健康に関する推測を行うLLMの能力について検討する。 本研究は,4つの公衆衛生データセットを用いた12種類のLCMの包括的評価と微調整技術について述べる。
  論文  参考訳（メタデータ） (2024-01-12T19:40:11Z)
• Autocompletion of Chief Complaints in the Electronic Health Records using Large Language Models [0.3749861135832072]
  テキスト生成技術を用いて,CCデータを用いた機械学習モデルを構築する。 我々は, GPT-4のOpenAI APIを利用して, CC文を組み込むことで, プロンプトを調整した。 モデルの性能は、パープレキシティスコア、修正BERTSスコア、コサイン類似度スコアに基づいて評価する。
  論文  参考訳（メタデータ） (2024-01-11T18:06:30Z)
• GraphCare: Enhancing Healthcare Predictions with Personalized Knowledge Graphs [44.897533778944094]
  textscGraphCareは、外部知識グラフを使用してEHRベースの予測を改善するオープンワールドフレームワークである。 本手法は,患者固有のKGを構築するために,大規模言語モデル(LLM)と外部生物医学的KGから知識を抽出する。 textscGraphCareは、4つの重要な医療予測タスクのベースラインを超えている。
  論文  参考訳（メタデータ） (2023-05-22T07:35:43Z)
• Capabilities of GPT-4 on Medical Challenge Problems [23.399857819743158]
  GPT-4は、訓練や臨床課題の解決を通じて医療上の問題に特化しない汎用モデルである。 本稿では,GPT-4の総合的な評価を医学的能力試験とベンチマーク・データセットで行う。
  論文  参考訳（メタデータ） (2023-03-20T16:18:38Z)
• HealthE: Classifying Entities in Online Textual Health Advice [0.0]
  我々は、6,756の健康アドバイスからなる新しい注釈付きデータセットHealthEをリリースした。 HealthEは既存のNERコーパスに比べて、より粒度の細かいラベル空間を持っている。 我々は、エンティティクラス分類におけるテキストコンテキストパターンを活用する、新しいヘルスエンティティ分類モデルEP S-BERTを導入する。
  論文  参考訳（メタデータ） (2022-10-06T23:18:24Z)
• MedDG: An Entity-Centric Medical Consultation Dataset for Entity-Aware Medical Dialogue Generation [86.38736781043109]
  MedDGという12種類の消化器疾患に関連する大規模医用対話データセットを構築し,公開する。 MedDGデータセットに基づく2種類の医療対話タスクを提案する。1つは次のエンティティ予測であり、もう1つは医師の反応生成である。 実験結果から,プレトレイン言語モデルと他のベースラインは,両方のタスクに苦戦し,データセットの性能が劣ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T03:34:33Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。