論文の概要: Beyond Retrieval: Ensembling Cross-Encoders and GPT Rerankers with LLMs for Biomedical QA

• arxiv url: http://arxiv.org/abs/2507.05577v1
• Date: Tue, 08 Jul 2025 01:25:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.471485
• Title: Beyond Retrieval: Ensembling Cross-Encoders and GPT Rerankers with LLMs for Biomedical QA
• Title（参考訳）: Beyond Retrieval: バイオメディカルQAのためのLCMを用いたクロスエンコーダとGPTリランカの組込み
• Authors: Shashank Verma, Fengyi Jiang, Xiangning Xue,
• Abstract要約: 本稿では,BioASQ 2025 Task13b Challengeに参加する際の方法論と成果について述べる。 我々は,関連するPubMed文書とスニペットを検索して回答を生成することで,バイオメディカルな疑問に答えられる検索型拡張生成(RAG)システムを構築した。 我々のソリューションはMAP@10の0.1581を達成し、検索タスクのリーダーボードで10位となった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biomedical semantic question answering rooted in information retrieval can play a crucial role in keeping up to date with vast, rapidly evolving and ever-growing biomedical literature. A robust system can help researchers, healthcare professionals and even layman users access relevant knowledge grounded in evidence. The BioASQ 2025 Task13b Challenge serves as an important benchmark, offering a competitive platform for advancement of this space. This paper presents the methodologies and results from our participation in this challenge where we built a Retrieval-Augmented Generation (RAG) system that can answer biomedical questions by retrieving relevant PubMed documents and snippets to generate answers. For the retrieval task, we generated dense embeddings from biomedical articles for initial retrieval, and applied an ensemble of finetuned cross-encoders and large language models (LLMs) for re-ranking to identify top relevant documents. Our solution achieved an MAP@10 of 0.1581, placing 10th on the leaderboard for the retrieval task. For answer generation, we employed few-shot prompting of instruction-tuned LLMs. Our system achieved macro-F1 score of 0.95 for yes/no questions (rank 12), Mean Reciprocal Rank (MRR) of 0.64 for factoid questions (rank 1), mean-F1 score of 0.63 for list questions (rank 5), and ROUGE-SU4 F1 score of 0.29 for ideal answers (rank 11).
• Abstract（参考訳）: 情報検索に根ざしたバイオメディカルセマンティックな疑問は、膨大な、急速に進化し、成長を続けるバイオメディカル文学を最新に保つ上で重要な役割を担っている。 堅牢なシステムは、研究者、医療専門家、さらには平凡なユーザーでさえ、証拠に基づく関連する知識にアクセスするのに役立つ。 BioASQ 2025 Task13b Challengeは重要なベンチマークとして機能し、この分野の発展のための競争上のプラットフォームを提供する。 本稿では,関係するPubMed文書とスニペットを検索して回答を生成することで,バイオメディカルな疑問に答えられるRAG(Retrieval-Augmented Generation)システムを構築した。 検索作業では, バイオメディカルな論文から高密度な埋め込みを生成して検索を行い, 関連文書の再分類に, 微調整されたクロスエンコーダと大規模言語モデル(LLM)のアンサンブルを適用した。 我々のソリューションはMAP@10の0.1581を達成し、検索タスクのリーダーボードで10位となった。 回答生成には,命令調整LDMのプロンプトを少数使用した。 本システムでは,ye/no質問(ランク12),mean Reciprocal Rank(MRR)0.64のファクトイド質問(ランク1)平均F1スコア(ランク5),ROUGE-SU4 F1スコア(ランク11)のマクロF1スコアを達成した。

関連論文リスト

• FreshStack: Building Realistic Benchmarks for Evaluating Retrieval on Technical Documents [53.5649975411777]
  情報検索(IR)評価ベンチマークを自動構築するための総合的なフレームワークであるFreshStackを紹介する。 FreshStackでは、コードと技術ドキュメントからの自動コーパス収集、コミュニティに質問された質問と回答からのナゲット生成、ナゲットレベルのサポートが実施されている。 FreshStackを使って、急速に成長する、最近の、ニッチなトピックに関する5つのデータセットを構築し、タスクが十分に困難であることを保証しています。
  論文  参考訳（メタデータ） (2025-04-17T17:44:06Z)
• AutoMIR: Effective Zero-Shot Medical Information Retrieval without Relevance Labels [19.90354530235266]
  textbfSelf-textbfLearning textbfHypothetical textbfDocument textbfEmbeddings (textbfSL-HyDE)を導入してこの問題に対処する。 SL-HyDEは、与えられたクエリに基づいて仮説文書を生成するために、大きな言語モデル(LLM)をジェネレータとして利用する。 実世界の医療シナリオを基盤とした総合的な評価フレームワークとして,中国医療情報検索ベンチマーク(CMIRB)を提案する。
  論文  参考訳（メタデータ） (2024-10-26T02:53:20Z)
• Using Pretrained Large Language Model with Prompt Engineering to Answer Biomedical Questions [1.0742675209112622]
  事前学習型大言語モデル(LLM)に基づく2段階情報検索と質問応答システムを提案する。 テキスト内数ショットの例でプロンプトを構築し、再サンプリングや不正な応答検出などの後処理技術を利用する。 本システムでは,文書検索における0.14 MAPスコア,スニペット検索における0.05 MAPスコア,イエス/ノー質問に対する0.96 F1スコア,ファクトイド質問に対する0.38 MRRスコア,タスク12bにおけるリスト質問に対する0.50 F1スコアを達成した。
  論文  参考訳（メタデータ） (2024-07-09T11:48:49Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• Augmenting Black-box LLMs with Medical Textbooks for Biomedical Question Answering [48.17095875619711]
  LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。 LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。 検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
  論文  参考訳（メタデータ） (2023-09-05T13:39:38Z)
• Top K Relevant Passage Retrieval for Biomedical Question Answering [1.0636004442689055]
  質問応答は、大量の文書を用いて事実のない質問に答えるタスクである。 既存のDense Passage Retrievalモデルは、2018年12月20日からWikipediaでトレーニングされている。 本研究では, バイオメディカル領域における既存のDPRフレームワークについて検討し, 医療上の疑問に答える信頼できる情報源である Pubmed の記事から回答を得た。
  論文  参考訳（メタデータ） (2023-08-08T04:06:11Z)
• Medical Question Understanding and Answering with Knowledge Grounding and Semantic Self-Supervision [53.692793122749414]
  本稿では,知識基盤とセマンティック・セルフスーパービジョンを備えた医療質問理解・回答システムについて紹介する。 我々のシステムは、まず、教師付き要約損失を用いて、長い医学的、ユーザによる質問を要約するパイプラインである。 システムはまず、信頼された医療知識ベースから要約されたユーザ質問とFAQとをマッチングし、対応する回答文書から一定の数の関連文を検索する。
  論文  参考訳（メタデータ） (2022-09-30T08:20:32Z)
• Query-focused Extractive Summarisation for Biomedical and COVID-19 Complex Question Answering [0.0]
  本稿では,最近の2つのBioASQ Synergy Tasksへのマッコーリー大学の参加について述べる。 本稿では, 問合せに焦点を絞った抽出要約手法を適用し, 生体医学的問題に対する複雑な回答を生成する。 The Synergy task, we selected the candidate sentences following two phases: document search and snippet search。 そこで本研究では,BioASQ10bトレーニングデータの下半期にトレーニングを行った結果の改善について検討した。
  論文  参考訳（メタデータ） (2022-09-05T07:56:44Z)
• Query-Focused Extractive Summarisation for Finding Ideal Answers to Biomedical and COVID-19 Questions [7.6997148655751895]
  マカリー大学はBioASQ Synergy TaskとBioASQ9b Phase Bに参加した。 我々は,BioASQ8bのトレーニングデータセットを用いて,問合せに着目した要約システムを用いた。 システムによって回収された文書やスニペットの質が低かったことを踏まえ,回答の質は適度に良好であった。
  論文  参考訳（メタデータ） (2021-08-27T09:19:42Z)
• Domain-Specific Pretraining for Vertical Search: Case Study on Biomedical Literature [67.4680600632232]
  自己教師型学習は、アノテーションのボトルネックを克服するための有望な方向として現れました。 本稿では,ドメイン固有の事前学習に基づく垂直探索手法を提案する。 我々のシステムはPubMed上で何千万もの記事にスケールでき、Microsoft Biomedical Searchとしてデプロイされている。
  論文  参考訳（メタデータ） (2021-06-25T01:02:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。