論文の概要: Rethinking Hybrid Retrieval: When Small Embeddings and LLM Re-ranking Beat Bigger Models

• arxiv url: http://arxiv.org/abs/2506.00049v1
• Date: Wed, 28 May 2025 18:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.09124
• Title: Rethinking Hybrid Retrieval: When Small Embeddings and LLM Re-ranking Beat Bigger Models
• Title（参考訳）: ハイブリッド検索を再考する: 小さな埋め込みとLLMリグレードビートビッグガーモデル
• Authors: Arjun Rao, Hanieh Alipour, Nick Pendar,
• Abstract要約: 我々は,3モーダルハイブリッド検索システムにおける埋め込みモデルの比較を行った。 SciFact、FIQA、NFCorpusデータセットで実施された実験では、MiniLM-v6構成による検索品質が大幅に改善された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a comparison of embedding models in tri-modal hybrid retrieval for Retrieval-Augmented Generation (RAG) systems. We investigate the fusion of dense semantic, sparse lexical, and graph-based embeddings, focusing on the performance of the MiniLM-v6 and BGE-Large architectures. Contrary to conventional assumptions, our results show that the compact MiniLM-v6 outperforms the larger BGE-Large when integrated with LLM-based re-ranking within our tri-modal hybrid framework. Experiments conducted on the SciFact, FIQA, and NFCorpus datasets demonstrate significant improvements in retrieval quality with the MiniLM-v6 configuration. The performance difference is particularly pronounced in agentic re-ranking scenarios, indicating better alignment between MiniLM-v6's embedding space and LLM reasoning. Our findings suggest that embedding model selection for RAG systems should prioritize compatibility with multi-signal fusion and LLM alignment, rather than relying solely on larger models. This approach may reduce computational requirements while improving retrieval accuracy and efficiency.
• Abstract（参考訳）: 本稿では,Retrieval-Augmented Generation (RAG)システムにおける3モーダルハイブリッド検索における埋め込みモデルの比較を行った。 我々は,MiniLM-v6 および BGE-Large アーキテクチャの性能に着目し,密接なセマンティック,スパースレキシカル,グラフベースの埋め込みの融合について検討する。 従来の仮定とは対照的に, 小型のMiniLM-v6は, LLMをベースとした3モードハイブリッドフレームワークを組み込んだ場合, BGE-Largeよりも優れていた。 SciFact、FIQA、NFCorpusデータセットで実施された実験では、MiniLM-v6構成による検索品質が大幅に改善された。 性能の違いは特にエージェントのリグレードシナリオで顕著であり、MiniLM-v6の埋め込み空間とLSM推論との整合性が向上したことを示している。 以上の結果から,RAGシステムへの埋め込みモデル選択は,大規模モデルのみに依存するのではなく,多信号融合やLLMアライメントとの互換性を優先すべきであることが示唆された。 このアプローチは、検索精度と効率を改善しながら、計算要求を削減できる。

関連論文リスト

• What LLMs Miss in Recommendations: Bridging the Gap with Retrieval-Augmented Collaborative Signals [0.5439020425819]
  ユーザとイテムのインタラクションには、多くの成功したレコメンデーションシステムのバックボーンを形成する、リッチなコラボレーティブなシグナルが含まれている。 大規模言語モデル(LLM)がこの種類の協調的な情報を効果的に説明できるかどうかは不明だ。 構造化された相互作用データにそれらの予測を基礎づけることによりLLMを強化する単純な検索拡張生成(RAG)手法を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:18:57Z)
• LatentLLM: Attention-Aware Joint Tensor Compression [50.33925662486034]
  大規模言語モデル(LLM)と大規模マルチモーダルモデル(LMM)は膨大な計算量とメモリ資源を必要とする。 本稿では,LLM/LMMを低次元潜在構造に変換するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-23T22:39:54Z)
• LLaVE: Large Language and Vision Embedding Models with Hardness-Weighted Contrastive Learning [76.82159851648711]
  負対に対する埋め込みモデルの表現学習を動的に改善するフレームワークを提案する。 LLaVEは、最先端(SOTA)のパフォーマンスを実現する強力なベースラインを確立する。 LLaVEはゼロショット方式でテキストビデオ検索タスクを一般化し、高い性能を実現する。
  論文  参考訳（メタデータ） (2025-03-04T10:21:57Z)
• Heterogeneous Swarms: Jointly Optimizing Model Roles and Weights for Multi-LLM Systems [102.36545569092777]
  モデルの役割と重みを協調的に最適化し,マルチLLMシステムを設計するアルゴリズムであるヘテロジニアス・スウォームを提案する。 実験により、異種群は12タスクの平均18.5%で15のロールベースおよび/またはウェイトベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2025-02-06T21:27:11Z)
• HASSLE-free: A unified Framework for Sparse plus Low-Rank Matrix Decomposition for LLMs [15.575498324678373]
  有望な圧縮スキームは、基礎モデルの密度重みをスパースと低ランク行列の和に分解することである。 本稿では,半構造化)スパースと低ランク行列分解のためのHASSLEフリーの統一フレームワークを設計する。
  論文  参考訳（メタデータ） (2025-02-02T20:23:32Z)
• Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free [21.59456761618456]
  大規模言語モデル(LLM)は生成タスクに優れ、デコーダのみのアーキテクチャは、さらなる表現の微調整が適用されない場合、埋め込みモデルとしての可能性を制限することが多い。 我々の研究は、MoE LLMのエキスパートルータが、様々な組込みタスクに対して有望な性能を持つ既製の組込みモデルとして機能できることを示唆している。
  論文  参考訳（メタデータ） (2024-10-14T17:59:44Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• SLMRec: Distilling Large Language Models into Small for Sequential Recommendation [38.51895517016953]
  シーケンシャルレコメンデーションタスクでは、過去のインタラクションを考慮して、ユーザが対話する可能性のある次の項目を予測する。 最近の研究は、LCMがシーケンシャルレコメンデーションシステムに与える影響を実証している。 LLM の巨大なサイズのため、現実のプラットフォームに LLM ベースのモデルを適用するのは非効率で実用的ではない。
  論文  参考訳（メタデータ） (2024-05-28T07:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。