論文の概要: FDARxBench: Benchmarking Regulatory and Clinical Reasoning on FDA Generic Drug Assessment
- arxiv url: http://arxiv.org/abs/2603.19539v1
- Date: Fri, 20 Mar 2026 00:33:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 19:48:38.92678
- Title: FDARxBench: Benchmarking Regulatory and Clinical Reasoning on FDA Generic Drug Assessment
- Title（参考訳）: FDARxBench:FDAジェネリックドラッグアセスメントにおける規制と臨床推論のベンチマーク
- Authors: Betty Xiong, Jillian Fisher, Benjamin Newman, Meng Hu, Shivangi Gupta, Yejin Choi, Lanyan Fang, Russ B Altman,
- Abstract要約: 汎用的な薬物評価を動機としたQA(Document-grounded Question-Awering)を評価するための,専門家によるキュレートされた実世界ベンチマークを導入する。
薬物ラベルには、豊富なが不均一な臨床および規制情報が含まれている。
FDARxBenchは、高品質で専門家によるキュレーション、事実、マルチホップ、拒否タスクにまたがるQAの例を生成する。
- 参考スコア（独自算出の注目度）: 28.49642871832232
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce an expert curated, real-world benchmark for evaluating document-grounded question-answering (QA) motivated by generic drug assessment, using the U.S. Food and Drug Administration (FDA) drug label documents. Drug labels contain rich but heterogeneous clinical and regulatory information, making accurate question answering difficult for current language models. In collaboration with FDA regulatory assessors, we introduce FDARxBench, and construct a multi-stage pipeline for generating high-quality, expert curated, QA examples spanning factual, multi-hop, and refusal tasks, and design evaluation protocols to assess both open-book and closed-book reasoning. Experiments across proprietary and open-weight models reveal substantial gaps in factual grounding, long-context retrieval, and safe refusal behavior. While motivated by FDA generic drug assessment needs, this benchmark also provides a substantial foundation for challenging regulatory-grade evaluation of label comprehension. The benchmark is designed to support evaluation of LLM behavior on drug-label questions.
- Abstract（参考訳）: 我々は、米国食品医薬品局(FDA)の薬物ラベル文書を用いて、一般的な薬物評価を動機とした文書的質問応答(QA)を評価するための、専門家によるキュレートされた実世界のベンチマークを紹介する。
薬物ラベルには豊富なが不均一な臨床および規制情報が含まれており、現在の言語モデルでは正確な質問応答が困難である。
FDAの規制評価機関と共同でFDARxBenchを導入し、高品質で専門家によるキュレートされたQA例を生成するための多段階パイプラインを構築し、オープンブックとクローズドブックの推論の両方を評価するための設計評価プロトコルを設計する。
プロプライエタリモデルとオープンウェイトモデルによる実験では、現実の接地、長いコンテキストの検索、そして安全な拒絶行動において大きなギャップが示される。
FDAのジェネリックドラッグアセスメントの必要性に動機付けられているが、このベンチマークはラベル理解の規制グレード評価に挑戦するための重要な基盤を提供する。
このベンチマークは、薬物ラベル問題に対するLCMの挙動評価をサポートするように設計されている。
関連論文リスト
- MedDCR: Learning to Design Agentic Workflows for Medical Coding [55.51674334874892]
医療符号化は、フリーテキスト臨床ノートを標準化された診断および手続きコードに変換する。
本稿では,設計を学習問題として扱うクローズドループフレームワークであるMedDCRを提案する。
ベンチマークデータセットでは、MedDCRは最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2025-11-17T13:30:51Z) - OIDA-QA: A Multimodal Benchmark for Analyzing the Opioid Industry Documents Archive [50.468138755368805]
オピオイド危機は公衆衛生にとって重要な瞬間である。
UCSF-JHU Opioid Industry Documents Archive(OIDA)に公開されているデータと文書
本稿では,文書属性に応じて元のデータセットを整理することで,この問題に対処する。
論文 参考訳（メタデータ） (2025-11-13T03:27:32Z) - DRBench: A Realistic Benchmark for Enterprise Deep Research [81.49694432639406]
DRBenchは、エンタープライズ環境で複雑でオープンなディープリサーチタスクでAIエージェントを評価するためのベンチマークである。
セールス、サイバーセキュリティ、コンプライアンスなど10のドメインにわたる15のディープリサーチタスクをリリースしています。
論文 参考訳（メタデータ） (2025-09-30T18:47:20Z) - From Feedback to Checklists: Grounded Evaluation of AI-Generated Clinical Notes [18.88487525876338]
本稿では,実際のユーザフィードバックを構造化されたチェックリストに抽出してノート評価を行うパイプラインを提案する。
21,000人以上の臨床検査結果から同定したデータを用いて,フィードバックに基づくチェックリストは,オフライン評価におけるベースラインアプローチよりも優れていることを示す。
オフラインの調査設定では、チェックリストは、定義された品質基準に反するかもしれないメモをフラグする実用的なツールを提供します。
論文 参考訳（メタデータ） (2025-07-23T17:28:31Z) - Standard Applicability Judgment and Cross-jurisdictional Reasoning: A RAG-based Framework for Medical Device Compliance [3.439579933384111]
自由テキストデバイス記述を前提として、キュレートされたコーパスから候補標準を抽出し、大規模言語モデルを用いて、管轄範囲固有の適用性を推定する。
我々は,専門家による標準マッピングを用いた医療機器記述の国際ベンチマークデータセットを構築し,検索専用,ゼロショット,ルールベースラインに対するシステム評価を行った。
提案手法は, 分類精度73%, トップ5検索リコール87%を達成し, 関連する規制基準の特定に有効であることを示す。
論文 参考訳（メタデータ） (2025-06-23T11:04:58Z) - medicX-KG: A Knowledge Graph for Pharmacists' Drug Information Needs [0.0]
人工知能とセマンティックテクノロジーを活用して、知識グラフ(KG)は隠れた関係を発見し、データ駆動による意思決定を可能にする。
本稿では,臨床および規制決定を支援する薬剤師指向の知識グラフである medicX-KG を提案する。
より広範な medicX プラットフォームのセマンティックレイヤを形成し、予測的かつ説明可能な薬局サービスを動かしている。
論文 参考訳（メタデータ） (2025-06-22T09:28:48Z) - CRAB: A Benchmark for Evaluating Curation of Retrieval-Augmented LLMs in Biomedicine [3.1427813443719868]
バイオメディシン(CRAB)における検索用LLMのキュレーションのベンチマークについて紹介する。
CRABは、検索拡張LDMの生体医学的キュレーションを評価するための最初の多言語ベンチマークである。
CRABは、新しい引用に基づく評価基準を組み込むことで、バイオメディシンにおける検索増強LDMのキュレーション性能を定量化する。
論文 参考訳（メタデータ） (2025-04-15T07:25:40Z) - Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。
医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。
実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
論文 参考訳（メタデータ） (2024-11-14T06:19:18Z) - Knowledge-Driven New Drug Recommendation [88.35607943144261]
既存の薬物と新薬のギャップを埋めるために, 薬物依存型マルチフェノタイプ数発学習機を開発した。
EDGEは外部薬効知識ベースを用いて偽陰性監視信号を除去する。
その結果, EDGEは, ROC-AUCスコアよりも7.3%向上していることがわかった。
論文 参考訳（メタデータ） (2022-10-11T16:07:52Z) - Principal-Agent Hypothesis Testing [54.154244569974864]
我々は、規制当局(プリンシパル)と医薬品会社のような実験者(エージェント)との関係を考察する。
医薬品の有効性は規制当局に知られていないため、医薬品会社は規制当局に有効性を証明するために費用がかかる裁判を行わなければならない。
エージェントの戦略行動に頑健なプロトコルを設計する方法を示し、戦略参加者の存在下で最適なプロトコルを導出する。
論文 参考訳（メタデータ） (2022-05-13T17:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。