論文の概要: Performance of the SafeTerm AI-Based MedDRA Query System Against Standardised MedDRA Queries

• arxiv url: http://arxiv.org/abs/2512.07552v1
• Date: Mon, 08 Dec 2025 13:32:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.907923
• Title: Performance of the SafeTerm AI-Based MedDRA Query System Against Standardised MedDRA Queries
• Title（参考訳）: 標準MedDRAクエリに対する安全AIベースのMedDRAクエリシステムの性能
• Authors: Francois Vandenhende, Anna Georgiou, Michalis Georgiou, Theodoros Psaras, Ellie Karekla, Elena Hadjicosta,
• Abstract要約: MedDRA SMQs上でのSafeTerm Automated Medical Query(AMQ)の性能を評価する。 AMQは医療用語を理解し、処理し、所定の入力クエリに対して関連するMedDRA Preferred Terms(PT)を自動的に取得する。 高リコール(94%)は適度な類似度閾値で達成され、良好な検索感度を示す。 最適しきい値 (0.70) は総リコール率 (48%) と精度 (45%) を全110クエリで達成した。
• 参考スコア（独自算出の注目度）: 1.6733877161852464
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In pre-market drug safety review, grouping related adverse event terms into SMQs or OCMQs is critical for signal detection. We assess the performance of SafeTerm Automated Medical Query (AMQ) on MedDRA SMQs. The AMQ is a novel quantitative artificial intelligence system that understands and processes medical terminology and automatically retrieves relevant MedDRA Preferred Terms (PTs) for a given input query, ranking them by a relevance score (0-1) using multi-criteria statistical methods. The system (SafeTerm) embeds medical query terms and MedDRA PTs in a multidimensional vector space, then applies cosine similarity, and extreme-value clustering to generate a ranked list of PTs. Validation was conducted against tier-1 SMQs (110 queries, v28.1). Precision, recall and F1 were computed at multiple similarity-thresholds, defined either manually or using an automated method. High recall (94%)) is achieved at moderate similarity thresholds, indicative of good retrieval sensitivity. Higher thresholds filter out more terms, resulting in improved precision (up to 89%). The optimal threshold (0.70)) yielded an overall recall of (48%) and precision of (45%) across all 110 queries. Restricting to narrow-term PTs achieved slightly better performance at an increased (+0.05) similarity threshold, confirming increased relatedness of narrow versus broad terms. The automatic threshold (0.66) selection prioritizes recall (0.58) to precision (0.29). SafeTerm AMQ achieves comparable, satisfactory performance on SMQs and sanitized OCMQs. It is therefore a viable supplementary method for automated MedDRA query generation, balancing recall and precision. We recommend using suitable MedDRA PT terminology in query formulation and applying the automated threshold method to optimise recall. Increasing similarity scores allows refined, narrow terms selection.
• Abstract（参考訳）: 事前の医薬品安全性レビューでは、関連する有害事象をSMQまたはOCMQに分類することが信号検出に重要である。 MedDRA SMQs上でのSafeTerm Automated Medical Query(AMQ)の性能を評価する。 AMQは、医学用語を理解し、処理する新しい定量的人工知能システムであり、入力クエリに関連するMedDRA Preferred Terms(PT)を自動的に取得し、マルチ基準統計手法を用いて関連スコア(0-1)でランク付けする。 このシステム(SafeTerm)は、医療クエリ用語とMedDRA PTを多次元ベクトル空間に埋め込み、コサイン類似性および極値クラスタリングを適用して、PTのランク付けリストを生成する。 検証はtier-1 SMQs(110クエリ、v28.1)に対して行われた。 精度、リコール、F1は複数の類似の閾値で計算され、手動で定義するか自動化された方法を用いていた。 高リコール(94%)は適度な類似度閾値で達成され、良好な検索感度を示す。 より高い閾値はより多くの用語をフィルタリングし、その結果精度が89%まで向上した。 最適しきい値 (0.70) は総リコール率 (48%) と精度 (45%) を全110クエリで達成した。 狭義のPTの制限は、狭義のPTと広義のPTの関連性の向上を裏付ける(+0.05)類似度閾値で若干性能が向上した。 自動しきい値(0.66)の選択は、リコール(0.58)を精度(0.29)に優先順位付けする。 SafeTerm AMQは、SMQsとS sanitized OCMQsで同等、満足なパフォーマンスを実現します。 したがって、これはMedDRAクエリの自動生成、リコールと精度のバランスをとるための有効な補足方法である。 クエリの定式化やリコールの最適化に自動しきい値法を適用する際に, MedDRA PT 用語を用いることを推奨する。 類似度を高めることで、洗練された、狭い用語の選択が可能になる。

関連論文リスト

• An Automated Retrieval-Augmented Generation LLaMA-4 109B-based System for Evaluating Radiotherapy Treatment Plans [2.2532577733932038]
  我々は,LLaMA-4 109Bを用いた放射線治療計画の自動化,プロトコル認識,解釈可能な評価のためのRAGシステムを開発した。 RAGシステムは5つのSentenceTransformerバックボーンに最適化された検索エンジン、コホート類似性に基づくパーセンタイル予測コンポーネント、臨床制約チェッカーの3つのコアモジュールを統合している。
  論文  参考訳（メタデータ） (2025-09-25T03:18:31Z)
• EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
  医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。 ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。 医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
  論文  参考訳（メタデータ） (2025-09-24T14:09:55Z)
• MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
  我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。 6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。 結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:38:16Z)
• Scalable Unit Harmonization in Medical Informatics via Bayesian-Optimized Retrieval and Transformer-Based Re-ranking [0.0]
  我々は,大規模臨床データセットにおける一貫性のない単位を調和させるスケーラブルな手法を開発した。 フィルタリング、識別、調和提案生成、自動再ランク付け、手動検証といったマルチステージパイプラインを実装している。 このシステムはランク1で83.39%の精度、ランク5で94.66%のリコールを達成した。
  論文  参考訳（メタデータ） (2025-05-01T19:09:15Z)
• Improving Bias Correction Standards by Quantifying its Effects on Treatment Outcomes [54.18828236350544]
  Propensity score matching (PSM) は、分析のために同等の人口を選択することで選択バイアスに対処する。 異なるマッチング手法は、すべての検証基準を満たす場合でも、同じタスクに対する平均処理効果(ATE)を著しく異なるものにすることができる。 この問題に対処するため,新しい指標A2Aを導入し,有効試合数を削減した。
  論文  参考訳（メタデータ） (2024-07-20T12:42:24Z)
• Word-Sequence Entropy: Towards Uncertainty Estimation in Free-Form Medical Question Answering Applications and Beyond [52.246494389096654]
  本稿ではワードシーケンスエントロピー(WSE)を紹介し,単語レベルとシーケンスレベルの不確実性を校正する手法を提案する。 We compare WSE with six baseline method on five free-form medical QA datasets, using 7 popular large language model (LLMs)。
  論文  参考訳（メタデータ） (2024-02-22T03:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。