論文の概要: Overview of the MedHopQA track at BioCreative IX: track description, participation and evaluation of systems for multi-hop medical question answering

• arxiv url: http://arxiv.org/abs/2605.12313v1
• Date: Tue, 12 May 2026 15:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.992267
• Title: Overview of the MedHopQA track at BioCreative IX: track description, participation and evaluation of systems for multi-hop medical question answering
• Title（参考訳）: BioCreative IXにおけるMedHopQAトラックの概要:マルチホップ医療質問応答システムの記述・参加・評価
• Authors: Rezarta Islamaj, Joey Chan, Robert Leaman, Jongmyung Jung, Hyeongsoon Hwang, Quoc-An Nguyen, Hoang-Quynh Le, Harikrishnan Gurushankar Saisudha, Ganesh Chandrasekar, Rustam R. Taktashov, Nadezhda Yu. Bizyukova, Sofia I. R. Conceição, Paulo R. C. Lopes, Reem Abdel Salam, Mary Adewunmi, Zhiyong Lu,
• Abstract要約: BioCreative IX MedHopQA共有タスクは、大規模言語モデル(LLM)のマルチホップ推論でベンチマークするために設計された。 我々は、疾患、遺伝子、化学物質にまたがる1000のQAペアからなる新しいデータセットを開発した。 それぞれの質問は、ウィキペディアの2つのページからの情報を統合することによって、2つのホップ推論を必要とするように構築された。
• 参考スコア（独自算出の注目度）: 8.26744997684193
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-hop question answering (QA) remains a significant challenge in the biomedical domain, requiring systems to integrate information across multiple sources to answer complex questions. To address this problem, the BioCreative IX MedHopQA shared task was designed to benchmark in multi-hop reasoning for large language models (LLMs). We developed a novel dataset of 1,000 challenging QA pairs spanning diseases, genes, and chemicals, with particular emphasis on rare diseases. Each question was constructed to require two-hop reasoning through the integration of information from two distinct Wikipedia pages. The challenge attracted 48 submissions from 13 teams. Systems were evaluated using both surface string comparison and conceptual accuracy (MedCPT score). The results showed a substantial performance gap between baseline LLMs and enhanced systems. The top-ranked submission achieved an 89.30% F1 score on the MedCPT metric and an 87.30% exact match (EM) score, compared with 67.40% and 60.20%, respectively, for the zero-shot baseline. A central finding of the challenge was that retrieval-augmented generation (RAG) and related retrieval-based strategies were critical for strong performance. In addition, concept-level evaluation improved answer assessment when correct responses differed in surface form. The MedHopQA dataset is publicly available to support continued progress in this important area. Challenge materials: https://www.ncbi.nlm.nih.gov/research/bionlp/medhopqa and benchmark https://www.codabench.org/competitions/7609/
• Abstract（参考訳）: マルチホップ質問応答 (Multi-hop question answering, QA) はバイオメディカル領域において重要な課題であり、複雑な質問に答えるために複数のソースにまたがる情報を統合する必要がある。 この問題に対処するため、BioCreative IX MedHopQA共有タスクは、大規模言語モデル(LLM)のマルチホップ推論でベンチマークするために設計された。 我々は、疾患、遺伝子、化学物質にまたがる1000の挑戦的なQAペアのデータセットを開発し、特にまれな疾患に焦点を当てた。 それぞれの質問は、ウィキペディアの2つのページからの情報を統合することによって、2つのホップ推論を必要とするように構築された。 この挑戦は13チームから48の応募を集めた。 表面弦比較と概念精度(MedCPTスコア)を用いてシステム評価を行った。 その結果, ベースラインLLMと拡張システムの間には, かなりの性能差が認められた。 トップランクの応募は、MedCPTで89.30%のF1スコアと87.30%の正確な試合(EM)スコアを達成し、ゼロショットベースラインではそれぞれ67.40%と60.20%を達成した。 この課題の中心的な発見は、検索強化世代(RAG)と関連する検索ベースの戦略が強い性能に重要であったことである。 さらに, 表面形状の正答率が異なる場合の回答評価も改善した。 MedHopQAデータセットは、この重要な領域における継続的な進捗をサポートするために公開されている。 チャレンジ資料:https://www.ncbi.nlm.nih.gov/research/bionlp/medhopqa and benchmark https://www.codabench.org/competitions/7609/

関連論文リスト

• MedHopQA: A Disease-Centered Multi-Hop Reasoning Benchmark and Evaluation Framework for LLM-Based Biomedical Question Answering [11.3883842897598]
  MedHopQAは、1000の専門家による質問応答ペアからなる、疾患中心のマルチホップ推論ベンチマークである。 各質問はウィキペディアの異なる2つの記事にまたがる情報の合成を必要とし、回答はオープンエンドのフリーテキスト形式で提供される。
  論文  参考訳（メタデータ） (2026-05-12T16:32:43Z)
• UETQuintet at BioCreative IX - MedHopQA: Enhancing Biomedical QA with Selective Multi-hop Reasoning and Contextual Retrieval [0.0]
  直接質問と逐次質問の両方を効果的に解決するモデルを提案する。 マルチソース情報検索とインコンテキスト学習を利用して、回答を生成するためのリッチで関連するコンテキストを提供する。 当社のアプローチでは,Exact Matchスコア0.84を達成し,現行のリーダボードで2位となった。
  論文  参考訳（メタデータ） (2026-01-11T16:12:38Z)
• CaresAI at BioCreative IX Track 1 -- LLM for Biomedical QA [3.222047196930981]
  大規模言語モデル(LLM)は、様々な領域にわたる正確な質問応答において、ますます明白になっている。 本稿では,BioCreative IX共有タスクのMedHopQAトラックへのアプローチについて述べる。 短い解答と長い解答を組み合わせた微調整、短い解答のみ、長い解答のみの3つの実験的な設定が検討されている。
  論文  参考訳（メタデータ） (2025-08-31T11:40:02Z)
• MedQARo: A Large-Scale Benchmark for Medical Question Answering in Romanian [50.767415194856135]
  ルーマニア初の大規模医療QAベンチマークであるMedQARoを紹介する。 がん患者に関連する102,646のQAペアからなる高品質で大規模なデータセットを構築した。
  論文  参考訳（メタデータ） (2025-08-22T13:48:37Z)
• Beyond Retrieval: Ensembling Cross-Encoders and GPT Rerankers with LLMs for Biomedical QA [0.0]
  本稿では,BioASQ 2025 Task13b Challengeに参加する際の方法論と成果について述べる。 我々は,関連するPubMed文書とスニペットを検索して回答を生成することで,バイオメディカルな疑問に答えられる検索型拡張生成(RAG)システムを構築した。 我々のソリューションはMAP@10の0.1581を達成し、検索タスクのリーダーボードで10位となった。
  論文  参考訳（メタデータ） (2025-07-08T01:25:06Z)
• MedGemma Technical Report [75.88152277443179]
  MedGemmaは、Gemma 3 4Bと27Bをベースとした医療ビジョン言語基盤モデルの集合体である。 MedGemmaは、画像とテキストの高度な医学的理解と推論を実証する。 また、SigLIPから派生した医用目視エンコーダであるMedSigLIPを紹介する。
  論文  参考訳（メタデータ） (2025-07-07T17:01:44Z)
• Using Pretrained Large Language Model with Prompt Engineering to Answer Biomedical Questions [1.0742675209112622]
  事前学習型大言語モデル(LLM)に基づく2段階情報検索と質問応答システムを提案する。 テキスト内数ショットの例でプロンプトを構築し、再サンプリングや不正な応答検出などの後処理技術を利用する。 本システムでは,文書検索における0.14 MAPスコア,スニペット検索における0.05 MAPスコア,イエス/ノー質問に対する0.96 F1スコア,ファクトイド質問に対する0.38 MRRスコア,タスク12bにおけるリスト質問に対する0.50 F1スコアを達成した。
  論文  参考訳（メタデータ） (2024-07-09T11:48:49Z)
• Multi-hop Question Generation with Graph Convolutional Network [58.31752179830959]
  マルチホップ質問生成(Multi-hop Question Generation, QG)は,異なる段落から散在する複数の証拠を集約・推論することで,回答に関連する質問を生成することを目的とする。 複数のホップでコンテキストエンコーディングを行うMulQG(Multi-Hop volution Fusion Network for Question Generation)を提案する。 提案モデルでは,高い完全性を有する流動的な質問を生成することができ,マルチホップ評価において,最強のベースラインを20.8%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-19T06:15:36Z)
• Interpretable Multi-Step Reasoning with Knowledge Extraction on Complex Healthcare Question Answering [89.76059961309453]
  HeadQAデータセットには、公衆医療専門試験で認可された複数の選択質問が含まれている。 これらの質問は、現在のQAシステムにとって最も難しいものです。 知識抽出フレームワーク(MurKe)を用いた多段階推論を提案する。 市販の事前訓練モデルを完全に活用しようと努力しています。
  論文  参考訳（メタデータ） (2020-08-06T02:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。