Fugu-MT 論文翻訳(概要): Mixture-of-Experts Language Models Can Be Strong and Efficient Retrievers

論文の概要: Mixture-of-Experts Language Models Can Be Strong and Efficient Retrievers

arxiv url: http://arxiv.org/abs/2609.13486v1
Date: Fri, 11 Sep 2026 19:55:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:05.334683
Title: Mixture-of-Experts Language Models Can Be Strong and Efficient Retrievers
Title（参考訳）: Mixture-of-Experts言語モデルは強力で効率的なリトリバーになり得る
Abstract要約: Mixture-of-Experts (MoE) LLMはトークン当たりのパラメータのサブセットのみを活性化し、生成モデルを拡張するために広く利用されている。 BEIRにおいて,MoEレトリバーは,最大3.0nDCG@10点の活性値を持つ高密度レトリバーより優れていることを示す。最強のMoEレトリバーの1つは、アクティブパラメータが59%少なく、クエリエンコーディング時間が18%低い8B高密度レトリバーと一致します。
参考スコア（独自算出の注目度）: 2.8881610726882827
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent work has shown that fine-tuning decoder-only large language models (LLMs) for retrieval yields strong first-stage retrievers, with effectiveness improving as backbones grow in size. However, every query and document must pass through the full model, so encoding cost increases with model size. Mixture-of-Experts (MoE) LLMs activate only a subset of parameters per token and are widely used to scale generative models, yet remain underexplored as retrievers. We systematically study MoE backbones for retrieval by training MoE and dense LLMs from several families using the same procedure, evaluating them across diverse datasets, and measuring query encoding time under the same serving configuration. We show that MoE retrievers outperform dense retrievers with comparable active parameter counts by up to 3.0 nDCG@10 points on BEIR. One of our strongest MoE retrievers matches an 8B dense retriever with 59% fewer active parameters and 18% lower query encoding time. We further show that the number of experts used for query encoding can be reduced without retraining or re-indexing, retaining more than 99% of retrieval effectiveness while reducing query encoding time by up to 26%. Recent rerankers provide only modest additional gains over strong MoE first stages, which often match or exceed the reranked configurations we evaluate. Together, these results show that MoE LLMs can be strong and efficient first-stage retrievers.
Abstract（参考訳）: 近年の研究では、検索のための微調整デコーダのみの大規模言語モデル(LLM)が、バックボーンのサイズが大きくなるにつれて、強力な第1ステージレトリバーを生み出すことが示されている。しかし、全てのクエリとドキュメントは完全なモデルを通過しなければならないため、エンコーディングコストはモデルのサイズとともに増加する。 Mixture-of-Experts (MoE) LLM はトークン当たりのパラメータのサブセットのみを活性化し、生成モデルを拡張するために広く使用されているが、まだ探索されていない。提案手法は,MoE と高密度 LLM を同一の手順で学習し,様々なデータセットにまたがって評価し,同一のサービス構成下でクエリエンコーディング時間を測定することで,検索のためのMoE バックボーンを体系的に研究する。 BEIRにおいて,MoEレトリバーは,最大3.0nDCG@10点の活性値を持つ高密度レトリバーより優れていることを示す。最強のMoEレトリバーの1つは、アクティブパラメータが59%少なく、クエリエンコーディング時間が18%低い8B高密度レトリバーと一致します。さらに、クエリエンコーディングに使用する専門家の数は、リトレーニングや再インデックスなしに削減でき、検索効率の99%以上を維持しつつ、クエリエンコーディング時間を最大26%削減できることを示す。最近のリランカは、私たちが評価したリランカ構成にマッチまたは超過する、強力なMoEファーストステージに対して、わずかに追加的な利得しか提供しません。これらの結果から,MoE LLMは第1段回収機として強力かつ効率的であることが示唆された。

関連論文リスト

Select, Don't Train: The Benefits of Modular Entity Disambiguation with LLM-Based Selection [15.630318972190702]
共有LLM選択段階における候補生成のための検索戦略の体系的比較について述べる。 LLMセレクタと組み合わせた完全トレーニングフリーのBM25レトリバーが,ZELDAベンチマークで新たな技術状態に達することを示す。
論文参考訳（メタデータ） (2026-08-17T16:52:05Z)
SAGE: Benchmarking and Improving Retrieval for Deep Research Agents [60.53966065867568]
SAGEは4つの科学領域にわたる1200のクエリからなる科学文献検索のためのベンチマークであり、20万の論文検索コーパスを備える。 6つのディープ・リサーチ・エージェントを評価し,全てのシステムが推論集約的な検索に苦しむことを発見した。 BM25は、既存のエージェントがキーワード指向のサブクエリを生成するため、LLMベースのレトリバーを約30%上回っている。
論文参考訳（メタデータ） (2026-02-05T18:25:24Z)
Making Large Language Models Efficient Dense Retrievers [24.74245913953312]
EffiRは、粗大な戦略を通じて大規模圧縮を行う効率的なレトリバーを開発するためのフレームワークである。 EffiRは、フルサイズのモデルの性能を維持しながら、モデルサイズと推論コストを大幅に削減する。
論文参考訳（メタデータ） (2025-12-23T18:58:25Z)
FreeRet: MLLMs as Training-Free Retrievers [21.04237443940747]
FreeRetは、任意のMLLMを2段階のレトリバーに変換するプラグイン・アンド・プレイフレームワークである。 MMEBとMMEB-V2のベンチマークでは、FreeRetは何百万ものペアでトレーニングされたモデルよりも大幅に優れています。
論文参考訳（メタデータ） (2025-09-29T11:28:42Z)
Exp4Fuse: A Rank Fusion Framework for Enhanced Sparse Retrieval using Large Language Model-based Query Expansion [0.0]
大規模言語モデル(LLM)は、クエリ拡張のための仮説文書を生成する可能性を示している。スパースレトリバーの性能を向上させる新しい融合ランキングフレームワークExp4Fuseを導入する。
論文参考訳（メタデータ） (2025-06-05T08:44:34Z)
ReasonIR: Training Retrievers for Reasoning Tasks [139.54343970560103]
ReasonIR-8Bは一般的な推論タスクのために特別に訓練された最初のレトリバーである。新たに29.9 nDCG@10をリランカなしで、36.9 nDCG@10をリランカで達成している。
論文参考訳（メタデータ） (2025-04-29T09:49:28Z)
DRAMA: Diverse Augmentation from Large Language Models to Smaller Dense Retrievers [86.54316283425001]
大規模言語モデル(LLM)は、高密度レトリバーとして微調整されている間、強い有効性と堅牢性を示している。 LLMは効率が良いが、教師付き微調整データで効率的に一般化できないことが多い。我々は、LLMを活用してより小さな一般化可能な高密度レトリバーを訓練するトレーニングフレームワークであるDRAMAを紹介する。
論文参考訳（メタデータ） (2025-02-25T18:59:07Z)
Efficient Length-Generalizable Attention via Causal Retrieval for Long-Context Language Modeling [42.67141329779589]
Grouped Cross Attentionは、トレーニング前のコンテキスト長の1000倍に一般化することができる。実験により,16Mコンテキスト長のパスキー検索において,GAAに基づくモデルがほぼ完全であることが示された。
論文参考訳（メタデータ） (2024-10-02T15:18:34Z)
Mistral-SPLADE: LLMs for better Learned Sparse Retrieval [7.652738829153342]
本稿では,意味的キーワード拡張学習にデコーダのみを用いたモデルを提案する。我々はMistralをバックボーンとして,SPLADEに似たLearned Sparse Retrieverを開発した。提案実験は,デコーダのみに基づくスパース検索モデル (LLM) が既存のLSRシステムの性能を上回るという仮説を支持する。
論文参考訳（メタデータ） (2024-08-20T18:21:54Z)
SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
論文参考訳（メタデータ） (2023-07-19T22:48:02Z)
Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文参考訳（メタデータ） (2023-04-27T14:45:55Z)
Query2doc: Query Expansion with Large Language Models [69.9707552694766]
提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
論文参考訳（メタデータ） (2023-03-14T07:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。