Fugu-MT 論文翻訳(概要): Don't Retrieve, Generate: Prompting LLMs for Synthetic Training Data in Dense Retrieval

論文の概要: Don't Retrieve, Generate: Prompting LLMs for Synthetic Training Data in Dense Retrieval

arxiv url: http://arxiv.org/abs/2504.21015v1
Date: Sun, 20 Apr 2025 08:34:10 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-11 21:23:29.783153
Title: Don't Retrieve, Generate: Prompting LLMs for Synthetic Training Data in Dense Retrieval
Title（参考訳）: 検索するな, 生成する: 高密度検索における合成トレーニングデータのためのLLMのプロンプト
Authors: Aarush Sinha,
Abstract要約: 効果的な高密度検索モデルの訓練は、しばしば文書コーパスから抽出された強陰性(HN)の例に依存する。本稿では,Large Language Model (LLM) が最初にパスからクエリを生成し,その後,そのクエリテキストをエンフォニーに使用して,難解なサンプルを生成する,エンド・ツー・エンドのパイプラインについて紹介する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Training effective dense retrieval models often relies on hard negative (HN) examples mined from the document corpus via methods like BM25 or cross-encoders (CE), processes that can be computationally demanding and require full corpus access. This paper introduces a different approach, an end-to-end pipeline where a Large Language Model (LLM) first generates a query from a passage, and then generates a hard negative example using \emph{only} that query text. This corpus-free negative generation contrasts with standard mining techniques. We evaluated this \textsc{LLM Query $\rightarrow$ LLM HN} approach against traditional \textsc{LLM Query $\rightarrow$ BM25 HN} and \textsc{LLM Query $\rightarrow$ CE HN} pipelines using E5-Base and GTE-Base models on several BEIR benchmark datasets. Our results show the proposed all-LLM pipeline achieves performance identical to both the BM25 and the computationally intensive CE baselines across nDCG@10, Precision@10, and Recall@100 metrics. This demonstrates that our corpus-free negative generation method matches the effectiveness of complex, corpus-dependent mining techniques, offering a potentially simpler and more efficient pathway for training high-performance retrievers without sacrificing results. We make the dataset including the queries and the hard-negatives for all three methods publicly available https://huggingface.co/collections/chungimungi/arxiv-hard-negatives-68027bbc601ff6cc8eb1f449.
Abstract（参考訳）: 効果的な高密度検索モデルの訓練は、BM25やクロスエンコーダ(CE)などの手法を通じて文書コーパスから抽出されたハードネガティブ(HN)の例に頼っていることが多い。本稿では,Large Language Model (LLM) が最初にパスからクエリを生成し,次に,テキストを問合せするemph{only} を用いて,強い負の例を生成する,エンド・ツー・エンドのパイプラインについて紹介する。このコーパスフリーな負生成は、標準的な鉱業技術とは対照的である。いくつかのBEIRベンチマークデータセット上でE5-BaseおよびGTE-Baseモデルを用いて、従来の \textsc{LLM Query $\rightarrow$ BM25 HN} と \textsc{LLM Query $\rightarrow$ CE HN} パイプラインに対して、この \textsc{LLM Query $\rightarrow$ LLM HN} アプローチを評価した。提案した全LLMパイプラインは,nDCG@10,Precision@10,Recall@100の計測値にまたがる計算集約CEベースラインとBM25と同じ性能を実現する。これにより, コーパスフリーな負生成法は, 複雑なコーパス依存マイニング手法の有効性と一致し, 結果の犠牲を伴わずに, 高性能レトリバーの訓練方法として, よりシンプルで効率的な経路が提供される可能性が示唆された。クエリと3つのメソッドのハードネガティブを含むデータセットを公開します。https://huggingface.co/collections/chungimungi/arxiv-hard- negatives-68027bbc601ff6cc8eb1f449。

論文の概要: Don't Retrieve, Generate: Prompting LLMs for Synthetic Training Data in Dense Retrieval

関連論文リスト