論文の概要: GAPS: A Clinically Grounded, Automated Benchmark for Evaluating AI Clinicians
- arxiv url: http://arxiv.org/abs/2510.13734v1
- Date: Wed, 15 Oct 2025 16:40:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-16 20:13:28.765294
- Title: GAPS: A Clinically Grounded, Automated Benchmark for Evaluating AI Clinicians
- Title（参考訳）: GAPS:AI臨床医を評価するための臨床応用自動ベンチマーク
- Abstract要約: AI臨床システムの現在のベンチマークは、実際の臨床実践に必要な深さ、堅牢性、安全性を捉えていない。
本稿では, GAPSフレームワーク, textbfGrounding (認識深度), textbfAdequacy (回答完全性), textbfPerturbation (損耗性), textbfSafetyを提案する。
GAPS準拠のベンチマークをエンドツーエンドに構築するための,完全自動化されたガイドライン変換パイプラインを開発した。
- 参考スコア（独自算出の注目度）: 32.33432636089606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current benchmarks for AI clinician systems, often based on multiple-choice exams or manual rubrics, fail to capture the depth, robustness, and safety required for real-world clinical practice. To address this, we introduce the GAPS framework, a multidimensional paradigm for evaluating \textbf{G}rounding (cognitive depth), \textbf{A}dequacy (answer completeness), \textbf{P}erturbation (robustness), and \textbf{S}afety. Critically, we developed a fully automated, guideline-anchored pipeline to construct a GAPS-aligned benchmark end-to-end, overcoming the scalability and subjectivity limitations of prior work. Our pipeline assembles an evidence neighborhood, creates dual graph and tree representations, and automatically generates questions across G-levels. Rubrics are synthesized by a DeepResearch agent that mimics GRADE-consistent, PICO-driven evidence review in a ReAct loop. Scoring is performed by an ensemble of large language model (LLM) judges. Validation confirmed our automated questions are high-quality and align with clinician judgment. Evaluating state-of-the-art models on the benchmark revealed key failure modes: performance degrades sharply with increased reasoning depth (G-axis), models struggle with answer completeness (A-axis), and they are highly vulnerable to adversarial perturbations (P-axis) as well as certain safety issues (S-axis). This automated, clinically-grounded approach provides a reproducible and scalable method for rigorously evaluating AI clinician systems and guiding their development toward safer, more reliable clinical practice.
- Abstract（参考訳）: AI臨床システムの現在のベンチマークは、多くの場合、複数の選択試験や手動ルーリックに基づいており、実際の臨床実践に必要な深さ、堅牢性、安全性を捉えていない。
これを解決するために、GAPSフレームワーク、つまり、認識深度(認識深度)、問合せ完全度(問合せ完全度)、問合せ乱れ(解答完全度)、問合せ不完全度(解答完全度)、問合せ不完全度(解答完全度)、問合せ不完全度(解答完全度)の評価のための多次元パラダイムである。
批判的に我々は,GAPSに準拠したベンチマークをエンドツーエンドに構築する,完全に自動化されたガイドライン型パイプラインを開発し,事前作業のスケーラビリティと主観性に限界を克服した。
我々のパイプラインはエビデンス地区を組み立て、二重グラフとツリー表現を作成し、Gレベルにまたがる質問を自動的に生成する。
ゴムは、GRADE-consistent、PICO-driven evidence reviewをReActループで模倣するDeepResearchエージェントによって合成される。
スコアリングは、大きな言語モデル(LLM)の裁判官のアンサンブルによって実行される。
検証の結果, 自動質問は高品質であり, 臨床医の判断と一致していることがわかった。
性能は、推論深度(G軸)の増加とともに急激に低下し、解答完全性(A軸)に苦しむモデルであり、敵の摂動(P軸)や特定の安全問題(S軸)に対して非常に脆弱である。
この自動化された臨床現場のアプローチは、AIクリニックシステムを厳格に評価し、より安全で信頼性の高い臨床実践に向けた開発を導く、再現可能でスケーラブルな方法を提供する。
関連論文リスト
- From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳（メタデータ） (2026-06-07T13:34:55Z) - Unlocking Biological Workflows for Robust Protein-Text Question Answering: A Dual-Dimensional RAG Framework [60.82334952881798]
タンパク-テキスト質問回答(QA)は、自然言語による生物学的配列の解釈に不可欠である。
2D-ProteinRAGは,大規模言語モデル(LLM)を金本位生物研究ワークフロー内で動作させる新しいフレームワークである。
本研究では,2D-Proteinが常に最先端の性能を達成し,微調整ベースラインや他のRAG法よりも優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2026-05-17T05:03:24Z) - An Agentic LLM-Based Framework for Population-Scale Mental Health Screening [0.3568466510804538]
本稿では,ロバストなLLMパイプライン構築のためのエージェントフレームワークを提案する。
トランスクリプトベースの検出における概念実証は、フレームワークが安定した構成に収束することを証明している。
結果は、大規模な臨床データセット上で集団レベルのメンタルヘルススクリーニングを可能にするエージェントAIの可能性を強調している。
論文 参考訳（メタデータ） (2026-05-13T06:08:43Z) - Towards a Virtual Neuroscientist: Autonomous Neuroimaging Analysis via Multi-Agent Collaboration [53.772014300855375]
我々は,自律型エンドツーエンド神経画像解析のためのマルチエージェントシステムであるNIAgentを紹介する。
従来のフラットなツール呼び出しエージェントとは異なり、NIAgentはコード中心の実行パラダイムを採用している。
本稿では,コホートレベルの検定とエージェント視覚検査を組み合わせた,自律的品質管理のための階層的検証フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-10T06:30:19Z) - ADAPTS: Agentic Decomposition for Automated Protocol-agnostic Tracking of Symptoms [36.94429692322632]
ADAPTS(Agentic Decomposition for Automated Protocol-Agnostic Tracking of Symptoms)は、うつ病と不安度の自動評価のためのフレームワークである。
このアプローチは、長期臨床面接を症状特異的推論タスクに分解する。
レーティングは、オリジナルの人間のレーティングよりも、専門家のベンチマークを近似した。
論文 参考訳（メタデータ） (2026-05-04T23:08:42Z) - Automated Quality Assessment of Blind Sweep Obstetric Ultrasound for Improved Diagnosis [1.3020284761626657]
本稿では,Blind Sweep Obstetric Ultrasound(BSOU)の品質の体系的評価と,その3つの重要なAIタスクへの影響について述べる。
モデルロバスト性を定量化するために, 逆スイープ方向, プローブインバージョン, 不完全なスイープを含む, 妥当な取得偏差をシミュレートする。
以上の結果から,BSOUをベースとしたAIモデルの変動性獲得に対する感受性を強調し,信頼性の高いスケーラブルなAI支援新生児超音波構築において,自動品質評価が中心的な役割を果たすことを示した。
論文 参考訳（メタデータ） (2026-03-26T20:20:21Z) - Bridging the Knowledge-Action Gap by Evaluating LLMs in Dynamic Dental Clinical Scenarios [9.865786198063644]
受動的知識検索装置から自律的臨床エージェントへの大規模言語モデル(LLM)の移行は、静的精度から動的行動信頼性への評価のシフトを要求する。
本研究は, 歯科用LLMの能力境界を実証的に表し, 標準化された知識と安全で自律的な臨床実践のギャップを埋めるためのロードマップを提供する。
論文 参考訳（メタデータ） (2026-01-19T11:36:39Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - Benchmarking Egocentric Clinical Intent Understanding Capability for Medical Multimodal Large Language Models [48.95516224614331]
MedGaze-Benchは、臨床医の視線を認知的カーソルとして活用し、手術、緊急シミュレーション、診断解釈における意図的理解を評価する最初のベンチマークである。
本ベンチマークでは,解剖学的構造の視覚的均一性,臨床における時間・因果依存性の厳格化,安全プロトコルへの暗黙の順守という3つの基本的な課題に対処する。
論文 参考訳（メタデータ） (2026-01-11T02:20:40Z) - MIRAGE: Misleading Retrieval-Augmented Generation via Black-box and Query-agnostic Poisoning Attacks [47.46936341268548]
Retrieval-Augmented Generation (RAG)システムでは、コーパス中毒という致命的な攻撃面が導入されている。
我々は,厳格なブラックボックスとクエリ非依存環境のために設計された,新しい多段階毒素パイプラインであるMIRAGEを提案する。
大規模な実験により、MIRAGEは攻撃効果とステルスネスの両方において既存のベースラインを著しく上回っていることが示された。
論文 参考訳（メタデータ） (2025-12-09T06:38:16Z) - MindEval: Benchmarking Language Models on Multi-turn Mental Health Support [10.524387723320432]
MindEvalは、現実的でマルチターンのメンタルヘルスセラピー会話において、言語モデルを自動的に評価するためのフレームワークである。
シミュレーションされた患者が生成したテキストに対する現実性を定量的に検証し、自動判断と人的判断との間に強い相関関係を示す。
われわれは12の最先端のLCMを評価し、AI固有のコミュニケーションパターンに特に弱点がある平均6点中4点以下で、すべてのモデルが苦戦していることを示す。
論文 参考訳（メタデータ） (2025-11-23T15:19:29Z) - Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。
25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。
私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
論文 参考訳（メタデータ） (2025-10-01T07:59:03Z) - Automated Clinical Problem Detection from SOAP Notes using a Collaborative Multi-Agent LLM Architecture [8.072932739333309]
我々は,このギャップに対処するために,臨床相談チームをモデル化する共同マルチエージェントシステム(MAS)を導入する。
このシステムは、SOAPノートの主観的(S)および目的的(O)セクションのみを分析することによって、臨床上の問題を特定する。
マネージャエージェントは、階層的で反復的な議論に従事し、合意に達するために、動的に割り当てられた専門家エージェントのチームを編成する。
論文 参考訳（メタデータ） (2025-08-29T17:31:24Z) - CyberRAG: An Agentic RAG cyber attack classification and reporting tool [0.3914676152740142]
CyberRAGはモジュール型のエージェントベースのRAGフレームワークで、サイバー攻撃のリアルタイム分類、説明、構造化レポートを提供する。
従来のRAGとは異なり、CyberRAGは動的制御フローと適応推論を可能にするエージェント設計を採用している。
論文 参考訳（メタデータ） (2025-07-03T08:32:19Z) - The Great Nugget Recall: Automating Fact Extraction and RAG Evaluation with Large Language Models [53.12387628636912]
本稿では,人間のアノテーションに対して評価を行う自動評価フレームワークを提案する。
この手法は2003年にTREC Question Answering (QA) Trackのために開発された。
完全自動ナゲット評価から得られるスコアと人間に基づく変種とのランニングレベルでの強い一致を観察する。
論文 参考訳（メタデータ） (2025-04-21T12:55:06Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳（メタデータ） (2025-04-21T04:56:47Z) - Efficient Lung Ultrasound Severity Scoring Using Dedicated Feature Extractor [12.280417624228544]
MeDiVLADは多レベル肺超音波検査のための新しいパイプラインである。
我々は、自己知識蒸留を利用して、ラベルや集合フレームレベルの特徴を伴わずに視覚変換器(ViT)を事前訓練する。
最小限の微調整により、MeDiVLADはフレームレベルおよびビデオレベルのスコアリングにおいて従来の完全教師付き手法よりも優れることを示す。
論文 参考訳（メタデータ） (2025-01-21T22:28:22Z) - ASTRID -- An Automated and Scalable TRIaD for the Evaluation of RAG-based Clinical Question Answering Systems [0.0]
大言語モデル (LLMs) は, 臨床質問応答において有意な潜在性を示した。
RAGは、モデル応答の事実的正確性を保証するための主要なアプローチとして現れています。
現在のRAG自動測定は、臨床および会話のユースケースでは不十分である。
論文 参考訳（メタデータ） (2025-01-14T15:46:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。