Fugu-MT 論文翻訳(概要): Pre-training with Large Language Model-based Document Expansion for Dense Passage Retrieval

論文の概要: Pre-training with Large Language Model-based Document Expansion for Dense Passage Retrieval

arxiv url: http://arxiv.org/abs/2308.08285v1
Date: Wed, 16 Aug 2023 11:10:43 GMT
ステータス: 処理完了
システム内更新日: 2023-08-17 13:56:01.870549
Title: Pre-training with Large Language Model-based Document Expansion for Dense Passage Retrieval
Title（参考訳）: 大規模言語モデルに基づくDense Passage Retrievalのための事前学習
Authors: Guangyuan Ma, Xing Wu, Peng Wang, Zijia Lin, Songlin Hu
Abstract要約: 本研究では,Large Language Model(LLM)に基づく文書拡張による事前学習の可能性について検討した。我々の研究は、ゼロショットとドメイン外検索能力の強いものを示し、人間のラベル付きデータなしで初期化する場合に、検索にもっと広く適用できるようにする。
参考スコア（独自算出の注目度）: 28.906829093158592
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we systematically study the potential of pre-training with Large Language Model(LLM)-based document expansion for dense passage retrieval. Concretely, we leverage the capabilities of LLMs for document expansion, i.e. query generation, and effectively transfer expanded knowledge to retrievers using pre-training strategies tailored for passage retrieval. These strategies include contrastive learning and bottlenecked query generation. Furthermore, we incorporate a curriculum learning strategy to reduce the reliance on LLM inferences. Experimental results demonstrate that pre-training with LLM-based document expansion significantly boosts the retrieval performance on large-scale web-search tasks. Our work shows strong zero-shot and out-of-domain retrieval abilities, making it more widely applicable for retrieval when initializing with no human-labeled data.
Abstract（参考訳）: 本稿では,Large Language Model (LLM) を用いた文書拡張による事前学習の可能性について系統的に検討する。具体的には、文書拡張、すなわちクエリ生成にLLMの能力を活用し、経路検索に適した事前学習戦略を用いて、拡張知識を検索者へ効果的に転送する。これらの戦略には、対比学習とボトルネック付きクエリ生成が含まれる。さらに,LLM推論への依存を減らすために,カリキュラム学習戦略を取り入れた。 LLMによる文書拡張による事前学習が大規模Web検索タスクにおける検索性能を大幅に向上させることを示す実験結果を得た。本研究は,ゼロショット・アウト・オブ・ドメイン検索能力が強く,人間ラベルデータを用いずに初期化した場合の検索に広く適用可能であることを示す。

関連論文リスト

Learning More Effective Representations for Dense Retrieval through Deliberate Thinking Before Search [65.53881294642451]
ディリベレート思考に基づくDense Retriever (DEBATER) DEBATERは、ステップバイステップの思考プロセスを通じて、より効果的な文書表現を学習できるようにすることにより、最近の密集型検索機能を強化している。実験の結果,DEBATERはいくつかのベンチマークで既存手法よりも優れていた。
論文参考訳（メタデータ） (2025-02-18T15:56:34Z)
Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training [69.13064064991552]
Hephaestus-Forgeは、API関数呼び出し、本質的な推論、計画におけるLLMエージェントの機能を強化するために設計された大規模な事前トレーニングコーパスである。 Hephaestus-Forgeは、76,537のAPIを含む103Bのエージェント固有のデータで構成されている。 Hephaestus-Forge上でのトレーニングの継続により、Hephaestusは3つのエージェントベンチマークで、小規模から中規模のオープンソースLLMと商用LLMに匹敵するパフォーマンスを誇っている。
論文参考訳（メタデータ） (2025-02-10T15:54:34Z)
LamRA: Large Multimodal Model as Your Advanced Retrieval Assistant [63.28378110792787]
LamRAは大規模マルチモーダルモデルに高度な検索と再ランク機能を持たせるために設計された多機能フレームワークである。検索には、言語のみの事前学習とマルチモーダル・インストラクション・チューニングからなる2段階のトレーニング戦略を採用する。再格付けには、ポイントワイドとリストワイドの両方のジョイントトレーニングを採用し、検索性能をさらに向上させる2つの方法を提供している。
論文参考訳（メタデータ） (2024-12-02T17:10:16Z)
Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG [36.754491649652664]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)に外部の知識ソースを利用する権限を与える。本稿では, 回収した「ハードネガティブ」の有害な影響について考察する。これを緩和し、長文LLMベースのRAGの堅牢性を高めるために、トレーニングフリーとトレーニングベースの両方のアプローチを提案する。
論文参考訳（メタデータ） (2024-10-08T12:30:07Z)
Large Language Models as Foundations for Next-Gen Dense Retrieval: A Comprehensive Empirical Assessment [16.39696580487218]
BERTやT5のような事前訓練された言語モデルは、高密度検索のための重要なバックボーンエンコーダとして機能する。近年,大規模言語モデル (LLM) をレトリバーとして使用し,様々なタスクでSOTA性能を達成している。
論文参考訳（メタデータ） (2024-08-22T08:16:07Z)
R^2AG: Incorporating Retrieval Information into Retrieval Augmented Generation [11.890598082534577]
Retrieval augmented generation (RAG) は、検索者によって提供される外部文書で大規模言語モデル(LLM)を拡張するために、多くのシナリオで適用されてきた。本稿では,R$2$AGを提案する。R$2$AGは,検索情報を検索用拡張生成に組み込む新しい拡張RAGフレームワークである。
論文参考訳（メタデータ） (2024-06-19T06:19:48Z)
PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
論文参考訳（メタデータ） (2024-04-29T04:51:30Z)
Embedding-Informed Adaptive Retrieval-Augmented Generation of Large Language Models [37.02290559379761]
Retrieval-augmented large language model (LLMs) は、様々なNLPタスクにおいて非常に有能である。このことに動機づけられた、適応検索拡張生成(ARAG)研究は、クエリによって要求される知識が LLM に欠如している場合にのみ検索する。
論文参考訳（メタデータ） (2024-04-04T15:21:22Z)
Corpus-Steered Query Expansion with Large Language Models [35.64662397095323]
我々はCSQE(Corpus-Steered Query Expansion)を導入し,コーパス内に埋め込まれた知識の取り込みを促進する。 CSQEは、LLMの関連性評価機能を利用して、最初に検索された文書の重要文を体系的に同定する。大規模な実験により、CSQEは訓練を必要とせず、特にLLMが知識を欠いているクエリで強い性能を示すことが明らかとなった。
論文参考訳（メタデータ） (2024-02-28T03:58:58Z)
Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文参考訳（メタデータ） (2023-05-23T17:27:50Z)
Query2doc: Query Expansion with Large Language Models [69.9707552694766]
提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
論文参考訳（メタデータ） (2023-03-14T07:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。