論文の概要: Less Finetuning, Better Retrieval: Rethinking LLM Adaptation for Biomedical Retrievers via Synthetic Data and Model Merging

• arxiv url: http://arxiv.org/abs/2602.04731v1
• Date: Wed, 04 Feb 2026 16:36:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.629172
• Title: Less Finetuning, Better Retrieval: Rethinking LLM Adaptation for Biomedical Retrievers via Synthetic Data and Model Merging
• Title（参考訳）: 微調整の少ない検索方法:合成データとモデルマージによるバイオメディカルレトリバーのLCM適応再考
• Authors: Sameh Khattab, Jean-Philippe Corbeil, Osman Alperen Koraş, Amin Dada, Julian Friedrich, François Beaulieu, Paul Vozila, Jens Kleesiek,
• Abstract要約: Retrieval-augmented Generation (RAG) はLarge Language Models (LLMs) のバックボーンとなった。 STM(Synthesize-Merge-Train)は,デコーダのみのLLMを,合成ハードネガティブ,検索プロンプト最適化,モデルマージで拡張するモジュラーフレームワークである。 MTEBベンチマークによる12の医療および一般タスクのサブセットの実験では、STMはタスク固有の専門家を最大23.5%(平均7.5%)増やし、単一の専門家と強力なベースラインの両方を広範囲の事前訓練なしで上回るマージモデルを生成する。
• 参考スコア（独自算出の注目度）: 6.761707146228743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) has become the backbone of grounding Large Language Models (LLMs), improving knowledge updates and reducing hallucinations. Recently, LLM-based retriever models have shown state-of-the-art performance for RAG applications. However, several technical aspects remain underexplored on how to adapt general-purpose LLMs into effective domain-specific retrievers, especially in specialized domains such as biomedicine. We present Synthesize-Train-Merge (STM), a modular framework that enhances decoder-only LLMs with synthetic hard negatives, retrieval prompt optimization, and model merging. Experiments on a subset of 12 medical and general tasks from the MTEB benchmark show STM boosts task-specific experts by up to 23.5\% (average 7.5\%) and produces merged models that outperform both single experts and strong baselines without extensive pretraining. Our results demonstrate a scalable, efficient path for turning general LLMs into high-performing, domain-specialized retrievers, preserving general-domain capabilities while excelling on specialized tasks.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、Large Language Models (LLM) の基盤化、知識更新の改善、幻覚の低減のバックボーンとなっている。 近年,LLMベースのレトリバーモデルでは,RAGアプリケーションの最先端性能が示されている。 しかし、汎用LSMを効果的なドメイン特異的レトリバー、特にバイオメディシンのような特殊なドメインに適合させる方法については、いくつかの技術的側面が未解明のままである。 STM(Synthesize-Train-Merge)は,デコーダのみのLLMを,合成ハードネガティブ,検索プロンプト最適化,モデルマージで拡張するモジュラーフレームワークである。 MTEBベンチマークによる12の医療および一般タスクのサブセットの実験では、STMはタスク固有の専門家を最大23.5\%(平均7.5\%)引き上げ、単一の専門家と強力なベースラインの両方を広範囲の事前トレーニングなしで上回るマージモデルを生成する。 本研究は,汎用LLMを高パフォーマンスなドメイン特化レトリバーに転換し,汎用ドメイン機能を維持しつつ,特殊タスクに優れるスケーラブルで効率的な経路を示すものである。

関連論文リスト

• Refining Hybrid Genetic Search for CVRP via Reinforcement Learning-Finetuned LLM [32.938753667649074]
  大型言語モデル (LLM) は、車両ルーティング問題 (VRP) の自動化デザイナーとして、ますます使われている。 この作業は、小さくて専門的なLLMが微調整された場合、先進的な解法の中で専門家が作り上げたものを超えるコンポーネントを生成できることを実証することによって、パラダイムに挑戦する。 高速クロスオーバー演算子を生成するために,小型LLMを微調整する新しい強化学習フレームワークRFTHGSを提案する。
  論文  参考訳（メタデータ） (2025-10-13T08:08:58Z)
• RAG in the Wild: On the (In)effectiveness of LLMs with Mixture-of-Knowledge Retrieval Augmentation [45.679455112940175]
  Retrieval-augmented Generation (RAG)は、推論時に取得した外部知識を統合することにより、大規模言語モデル(LLM)を強化する。 我々は,知識の混合を伴う大規模データストアであるMassiveDSを用いてRAGシステムを評価し,限界点を特定した。
  論文  参考訳（メタデータ） (2025-07-26T20:57:24Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• SimRAG: Self-Improving Retrieval-Augmented Generation for Adapting Large Language Models to Specialized Domains [45.349645606978434]
  Retrieval-augmented Generation (RAG) は大規模言語モデル(LLM)の質問応答能力を向上させる ドメイン適応のための質問応答と質問生成のジョイント機能を備えた自己学習手法であるSimRAGを提案する。 2つのバックボーンサイズと3つのドメインにまたがる11のデータセットの実験は、SimRAGがベースラインを1.2%～8.6%上回ることを示した。
  論文  参考訳（メタデータ） (2024-10-23T15:24:16Z)
• From Generalist to Specialist: Improving Large Language Models for Medical Physics Using ARCoT [0.0]
  ARCoT(Adaptable Retrieval-based Chain of Thought)は、大規模言語モデル(LLM)のドメイン固有精度を高めるために設計されたフレームワークである。 本モデルでは, 標準LLMよりも優れ, 平均人体性能が68%向上した。
  論文  参考訳（メタデータ） (2024-05-17T18:31:38Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。