論文の概要: KnowBench: Effort Reduction as a Unified, Deployment-Grounded Benchmark for Clinical AI

• arxiv url: http://arxiv.org/abs/2609.15794v1
• Date: Mon, 14 Sep 2026 16:10:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.489121
• Title: KnowBench: Effort Reduction as a Unified, Deployment-Grounded Benchmark for Clinical AI
• Title（参考訳）: KnowBench: 臨床AIのための統一されたデプロイのベンチマークとしての努力削減
• Abstract要約: KnowBenchを紹介します。Knowtexの先駆者であり、その統一基準はEffort Reduction (ER)です。 ER(ER)は、専門家および安全審査の下で、責任ある臨床医が受け入れるシステム生成型臨床作業製品の割合である。 本論文は,計量値とその退化事例,およびERが主張する監査可能かつシステム間比較可能な報告プロトコルのベンチマークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Clinical AI systems are evaluated with instruments built for research settings (reference-based similarity metrics and expert rubric panels) that measure resemblance to an artifact rather than reduction of a burden. We introduce KnowBench, pioneered by Knowtex, whose unifying metric is Effort Reduction (ER): the proportion of system-generated clinical work product accepted by the responsible clinician under expert and safety review. ER is defined once and instantiated per task across the administrative workload clinical AI automates: visit notes, diagnosis and billing codes, orders, EHR chart summarization, patient after-visit summaries, and clinical decision support. In every instantiation the construction is identical: the clinician's review-and-attestation event is the ground truth, every accepted unit is work the system completed, and every correction is residual effort returned to the clinician. The primary contribution of this paper is the benchmark itself: the metric, its degenerate cases, and a reporting protocol under which ER claims are auditable and cross-system comparable. Alongside it we report an initial headline measurement from the documentation instantiation: over one million signed encounters across a production window exceeding six months and thirteen medical specialties, Knowtex's proprietary fine-tuned clinical foundation models operating inside a closed feedback architecture achieve an aggregate ER of 97.99%, with per-specialty aggregates spanning 96.8-98.9%. This release reports the protocol's checklist partially, and states which companion statistics are withheld; the benchmark is offered so that this figure, and every figure reported after it, can be held to the same standard.
• Abstract（参考訳）: 臨床AIシステムは、負担を減らすのではなく、アーティファクトと類似度を測定する研究設定(参照ベースの類似度メトリクスと専門家のルーリックパネル)のために構築された機器で評価される。 我々は,ノウテックスの先駆者であるノウベンチについて紹介し,その統一基準は,専門家および安全審査のもとに責任ある臨床医が受け入れるシステム生成臨床作業製品の割合である,Effort Reduction (ER)である。 ERは、管理作業負荷にまたがってタスク毎に1回、インスタンス化され、AIが自動化される。訪問ノート、診断と請求コード、注文、EHRチャートの要約、患者後のサマリー、臨床決定サポート。 臨床医のレビュー・アンド・アテベーションイベントは基本的な真実であり、受理された全てのユニットがシステムを完成させ、すべての修正が臨床医に返却される。 本論文の主なコントリビューションはベンチマークそのものであり、メトリクスとその退化事例、およびER主張が監査可能で、システム間を比較可能な報告プロトコルである。 本報告では,6ヶ月と13の専門知識を有する生産窓に100万人以上の署名が交わり,クローズド・フィードバック・アーキテクチャ内で動作するファシリティ・ファシリティ・ファンデーション・モデルにより,96.8～98.9%の専門性アグリゲーションを達成した。 このリリースでは、プロトコルのチェックリストを部分的に報告し、関連する統計が保持されていないことを述べる。

関連論文リスト

• CliniCARE-Bench: Clinical Calibrated Audit of Medical Reasoning in EHR [15.66578453195388]
  CliniCARE-Benchは、振り返り臨床検査のベンチマークである。 実患者由来MIMIC-IVデータより, 患者特異的症例750例と推定した。 システムは4つの評決のうちの1つを返す: Yes, No, Indeterminate: Lack of Data, or Indeterminate: Medically Ambiguous。
  論文  参考訳（メタデータ） (2026-08-07T22:39:13Z)
• ResidencyRL: Reinforcement Learning in Simulated Clinical Environments [53.76751756107077]
  臨床人工知能(AI)エージェントを模擬多ターン臨床で訓練するための強化学習(RL)手法であるResidencyRLを提案する。 ホールドアウト評価では、ResidencyRLエージェントは、対向条件下で診断精度を7.0%向上させる。 盲目の専門医はこれらの利得を検証し、訓練されたエージェントをサイドバイサイド比較の87.6%で好んだ。
  論文  参考訳（メタデータ） (2026-08-07T17:04:41Z)
• Evidence-Grounded AI for Musculoskeletal Care [106.59121478639402]
  OrthoPilotは、大規模言語モデル(LLM)を利用した臨床人工知能システムである。 病院のデータストリームと、継続的な筋骨格ケアのための権威的な外部知識を統合する。 81人の整形外科医に対するフルパスウェイ・リーダーによる研究で、OrthoPilotは25年の経験を持つ専門家よりも優れていた。
  論文  参考訳（メタデータ） (2026-07-14T09:03:26Z)
• Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases [71.12461204050985]
  MedSP1000 (MedSP1000) は、SP由来の臨床エージェント評価のための対話型ベンチマークである。 ピアレビューされたSPの授業ケースを、定義されたSPケーススクリプト、臨床環境コンテキスト、人為的な構造化ルーブリックで実行可能なシナリオに変換する。 MedSP1000を多種多様な汎用および医療用LLMに適用すると、静的ベンチマークの性能がそのような教育シナリオに確実に変換されないことが分かる。
  論文  参考訳（メタデータ） (2026-06-03T17:17:16Z)
• PhysicianBench: Evaluating LLM Agents in Real-World EHR Environments [5.310457397170786]
  既存の医療エージェントベンチマークは、主に静的な知識のリコール、単一ステップのアトミックアクション、環境に対する実行を検証せずにアクションインテントに焦点を当てている。 PhysicianBenchは、プライマリケアと医師の実際のケースから適応した100のロングホライゾンタスクで構成されている。 各タスクは構造化されたチェックポイント(ベンチマーク全体で合計670)に分解される。 最高のパフォーマンスモデルはわずか46%の成功率(pass@1)であり、オープンソースモデルは19%に達する。
  論文  参考訳（メタデータ） (2026-05-04T05:32:25Z)
• Detecting Clinical Discrepancies in Health Coaching Agents: A Dual-Stream Memory and Reconciliation Architecture [71.46525715889656]
  汎用エージェントメモリシステムは、ユーザの最新のステートメントで古い事実を上書きすることでコヒーレンスを最適化する。 本稿では,患者の物語を構造化された臨床記録から厳密に分離するDual-Stream Memory Architectureを提案する。 675日間のウェルネスコーチングセッションにおいて,26名の患者を対象にこのアーキテクチャを評価した。
  論文  参考訳（メタデータ） (2026-04-29T17:59:28Z)
• CT-FineBench: A Diagnostic Fidelity Benchmark for Fine-Grained Evaluation of CT Report Generation [51.11942945171396]
  従来の評価指標は、語彙重なり合いやエンティティマッチングの粗い尺度のみを提供する。 我々はCT-RATEとMerlinのベンチマークであるCT-FineBenchを提案し、CTレポートの微細な事実整合性を評価する。 我々のベンチマークは、綿密な質問回答(QA)ベースのプロセスによって構築されます。
  論文  参考訳（メタデータ） (2026-04-27T03:32:46Z)
• Doctorina MedBench: End-to-End Evaluation of Agent-Based Medical AI [0.0]
  Doctorina MedBenchは、現実的な医師と患者の相互作用のシミュレーションに基づいて、エージェントベースの医療AIの包括的な評価フレームワークである。 このフレームワークは、安全指向のトラップケース、臨床シナリオのカテゴリベースのランダムサンプリング、完全な回帰テストをサポートしている。 評価指標の普遍性は、このフレームワークを医療AIシステムの評価だけでなく、医師を評価し、臨床推論スキルの開発を支援するためにも使用できる。
  論文  参考訳（メタデータ） (2026-03-26T18:38:25Z)
• Agentic Cognitive Profiling: Realigning Automated Alzheimer's Disease Detection with Clinical Construct Validity [66.94391219005291]
  本稿では,臨床プロトコルロジックによる自動スクリーニングを実現するエージェント認知プロファイリング(ACP)を提案する。 我々の設計の中心は、すべての定量化を決定論的関数呼び出しに委譲することで、測定から意味的理解を分離することである。 ACPは、タスク試験で90.5%のスコアマッチ率、AD予測で85.3%の精度を達成し、一般的な基準を上回っている。
  論文  参考訳（メタデータ） (2026-03-18T06:15:35Z)
• Retrieval-Augmented Generation Assistant for Anatomical Pathology Laboratories [2.125786478579275]
  本研究は,解剖学(AP)研究室に適合したRAGアシスタントの提案と評価である。 ポルトガルの医療機関から99個のAPプロトコルの新たなコーパスを収集し、323個の質問応答ペアを構築した。 Retrieval-Augmented Generationアシスタントは、プロトコル関連のクエリに対するコンテキストグラウンドの回答を提供する。
  論文  参考訳（メタデータ） (2025-12-08T22:44:57Z)
• A Narrative-Driven Computational Framework for Clinician Burnout Surveillance [0.5281694565226512]
  臨床医のバーンアウトは、特にICU(High-acuity intensive care Unit)において、患者の安全に重大な脅威をもたらす 本研究では,Beth Israel Deaconess Medical Centerの電子健康記録から得られたMIMIC-IVから,1万 ICU放電サマリーを解析した。 このデータセットは、バイタルサイン、医療命令、診断、処置、治療、特定自由テキスト臨床ノートを含む多様な患者データを含んでいる。
  論文  参考訳（メタデータ） (2025-09-01T19:05:26Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
  本稿では,Re$3$Writer法を提案する。 本手法が患者の退院指示生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-23T16:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。