論文の概要: ModernBERT + ColBERT: Enhancing biomedical RAG through an advanced re-ranking retriever

• arxiv url: http://arxiv.org/abs/2510.04757v1
• Date: Mon, 06 Oct 2025 12:34:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.852147
• Title: ModernBERT + ColBERT: Enhancing biomedical RAG through an advanced re-ranking retriever
• Title（参考訳）: ModernBERT + ColBERT: 先進的再位取得器による生医学的RAGの強化
• Authors: Eduardo Martínez Rivera, Filippo Menolascina,
• Abstract要約: 我々は、ColBERTv2遅延相互作用モデルを用いて、高速な初期候補検索のための軽量なModernBERT双方向エンコーダを開発した。 検索モジュールの解析により,ColBERT再ランカの正の影響が確認され,Recall@3が最大4.2ポイント向上した。 我々のアブレーション研究では、この性能が、レトリバーと再ランカを整列する関節細調整プロセスに極めて依存していることが判明した。
• 参考スコア（独自算出の注目度）: 0.5371337604556311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) is a powerful technique for enriching Large Language Models (LLMs) with external knowledge, allowing for factually grounded responses, a critical requirement in high-stakes domains such as healthcare. However, the efficacy of RAG systems is fundamentally restricted by the performance of their retrieval module, since irrelevant or semantically misaligned documents directly compromise the accuracy of the final generated response. General-purpose dense retrievers can struggle with the nuanced language of specialised domains, while the high accuracy of in-domain models is often achieved at prohibitive computational costs. In this work, we aim to address this trade-off by developing and evaluating a two-stage retrieval architecture that combines a lightweight ModernBERT bidirectional encoder for efficient initial candidate retrieval with a ColBERTv2 late-interaction model for fine-grained re-ranking. We conduct comprehensive evaluations of our retriever module performance and RAG system performance in the biomedical context, fine-tuning the IR module using 10k question-passage pairs from PubMedQA. Our analysis of the retriever module confirmed the positive impact of the ColBERT re-ranker, which improved Recall@3 by up to 4.2 percentage points compared to its retrieve-only counterpart. When integrated into the biomedical RAG, our IR module leads to a state-of-the-art average accuracy of 0.4448 on the five tasks of the MIRAGE question-answering benchmark, outperforming strong baselines such as MedCPT (0.4436). Our ablation studies reveal that this performance is critically dependent on a joint fine-tuning process that aligns the retriever and re-ranker; otherwise, the re-ranker might degrade the performance.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)を外部知識で強化する強力な技術であり、医療などのハイテイクな領域における重要な要件である、事実に基づく応答を可能にする。 しかしながら、RAGシステムの有効性は検索モジュールの性能によって根本的に制限されている。 汎用高密度レトリバーは、特殊なドメインのニュアンス言語と競合することがあるが、ドメイン内モデルの高い精度は、しばしば禁止的な計算コストで達成される。 本研究は, 高速な初期候補探索のためのModernBERT双方向エンコーダと, きめ細かい再ランク付けのためのColBERTv2遅延処理モデルを組み合わせた2段階検索アーキテクチャを開発, 評価することによって, このトレードオフに対処することを目的とする。 バイオメディカル環境での検索モジュール性能とRAGシステム性能を総合的に評価し,PubMedQAの10k問合せペアを用いてIRモジュールを微調整する。 検索モジュールの解析の結果,検索専用モジュールと比較して,リコール@3が最大4.2ポイント改善したColBERT再ランカの正の影響が確認された。 バイオメディカルRAGに組み込むと、我々のIRモジュールは、MIRAGE質問回答ベンチマークの5つのタスクにおいて、最先端の平均精度0.4448となり、MedCPT (0.4436) などの強力なベースラインを上回っます。 我々のアブレーション研究では、この性能は、レトリバーと再ランカを整列するジョイント微調整プロセスに極めて依存していることが示され、そうでなければ、再ランカは性能を劣化させる可能性がある。

関連論文リスト

• RAGferee: Building Contextual Reward Models for Retrieval-Augmented Generation [26.854073751273585]
  RAGfereeは、質問回答(QA)データセットを、スタイリスティックな特徴よりも基礎性を優先する選好ペアに再利用する方法論である。 RAGfereeを用いて、4Kサンプルと7Bから24Bパラメータの微調整RMの小さな選好データセットをキュレートする。 我々のRAG中心のRMはConJudgeBenchの最先端性能を達成し、既存の70B以上のRMをはるかに大きな(2.4Mサンプルまで)一般コーパスで訓練し、+15.5%の絶対的な改善を実現した。
  論文  参考訳（メタデータ） (2025-09-30T09:41:40Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• An Automated Retrieval-Augmented Generation LLaMA-4 109B-based System for Evaluating Radiotherapy Treatment Plans [2.2532577733932038]
  我々は,LLaMA-4 109Bを用いた放射線治療計画の自動化,プロトコル認識,解釈可能な評価のためのRAGシステムを開発した。 RAGシステムは5つのSentenceTransformerバックボーンに最適化された検索エンジン、コホート類似性に基づくパーセンタイル予測コンポーネント、臨床制約チェッカーの3つのコアモジュールを統合している。
  論文  参考訳（メタデータ） (2025-09-25T03:18:31Z)
• Investigating the Robustness of Retrieval-Augmented Generation at the Query Level [4.3028340012580975]
  推論中に外部知識を動的に組み込むソリューションとして、検索拡張生成(RAG)が提案されている。 その約束にもかかわらず、RAGシステムは実際的な課題に直面し、特に、正確な検索のために入力クエリの品質に強く依存する。
  論文  参考訳（メタデータ） (2025-07-09T15:39:17Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• Talk Before You Retrieve: Agent-Led Discussions for Better RAG in Medical QA [17.823588070044217]
  本稿では,医療質問応答システムを強化するためのプラグアンドプレイモジュールであるDisdisuss-RAGを提案する。 本手法では,多ターンブレインストーミングをエミュレートする医療専門家のチームを編成し,検索内容の関連性を向上する要約エージェントを提案する。 4つのベンチマーク医学QAデータセットによる実験結果から、DEC-RAGはMedRAGより一貫して優れていた。
  論文  参考訳（メタデータ） (2025-04-30T01:37:44Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。