論文の概要: Learning More Effective Representations for Dense Retrieval through Deliberate Thinking Before Search

• arxiv url: http://arxiv.org/abs/2502.12974v1
• Date: Tue, 18 Feb 2025 15:56:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:05:18.654744
• Title: Learning More Effective Representations for Dense Retrieval through Deliberate Thinking Before Search
• Title（参考訳）: 検索前の熟考を通してより効果的な検索表現を学習する
• Authors: Yifan Ji, Zhipeng Xu, Zhenghao Liu, Yukun Yan, Shi Yu, Yishan Li, Zhiyuan Liu, Yu Gu, Ge Yu, Maosong Sun,
• Abstract要約: ディリベレート思考に基づくDense Retriever (DEBATER) DEBATERは、ステップバイステップの思考プロセスを通じて、より効果的な文書表現を学習できるようにすることにより、最近の密集型検索機能を強化している。 実験の結果,DEBATERはいくつかのベンチマークで既存手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 65.53881294642451
• License:
• Abstract: Recent dense retrievers usually thrive on the emergency capabilities of Large Language Models (LLMs), using them to encode queries and documents into an embedding space for retrieval. These LLM-based dense retrievers have shown promising performance across various retrieval scenarios. However, relying on a single embedding to represent documents proves less effective in capturing different perspectives of documents for matching. In this paper, we propose Deliberate Thinking based Dense Retriever (DEBATER), which enhances these LLM-based retrievers by enabling them to learn more effective document representations through a step-by-step thinking process. DEBATER introduces the Chain-of-Deliberation mechanism to iteratively optimize document representations using a continuous chain of thought. To consolidate information from various thinking steps, DEBATER also incorporates the Self Distillation mechanism, which identifies the most informative thinking steps and integrates them into a unified text embedding. Experimental results show that DEBATER significantly outperforms existing methods across several retrieval benchmarks, demonstrating superior accuracy and robustness. All codes are available at https://github.com/OpenBMB/DEBATER.
• Abstract（参考訳）: 最近の高密度レトリバーは、通常、Large Language Models (LLMs) の緊急機能を活用して、クエリやドキュメントを検索用の埋め込みスペースにエンコードする。 これらのLSMベースの高密度検索器は、様々な検索シナリオで有望な性能を示している。 しかし、文書を1つの埋め込みで表現することは、文書の異なる視点を一致させるのに効果が低いことを証明している。 本稿では、段階的思考プロセスを通じて、より効果的な文書表現を学習できるようにすることにより、これらのLCMベースの検索機能を強化するDeliberate Thinking based Dense Retriever (DEBATER)を提案する。 DEBATERは、継続的思考の連鎖を用いて文書表現を反復的に最適化するChain-of-Deliberationメカニズムを導入している。 様々な思考ステップからの情報を統合するために、DEBATERは、最も情報性の高い思考ステップを特定し、それらを統一されたテキスト埋め込みに統合するセルフ蒸留機構も組み込んでいる。 実験の結果,DEBATERはいくつかのベンチマークで既存の手法よりも優れており,精度と頑健性に優れていた。 すべてのコードはhttps://github.com/OpenBMB/DEBATERで入手できる。

関連論文リスト

• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• Non-Parametric Memory Guidance for Multi-Document Summarization [0.0]
  本稿では,非パラメトリックメモリと組み合わせたレトリバー誘導モデルを提案する。 このモデルはデータベースから関連する候補を検索し、その候補をコピー機構とソースドキュメントで考慮して要約を生成する。 本手法は,学術論文を含むMultiXScienceデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2023-11-14T07:41:48Z)
• Lexically-Accelerated Dense Retrieval [29.327878974130055]
  LADR (Lexically-Accelerated Dense Retrieval) は, 既存の高密度検索モデルの効率を向上する, 簡便な手法である。 LADRは、標準ベンチマークでの徹底的な検索と同等の精度とリコールの両方を一貫して達成する。
  論文  参考訳（メタデータ） (2023-07-31T15:44:26Z)
• Query2doc: Query Expansion with Large Language Models [69.9707552694766]
  提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。 また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
  論文  参考訳（メタデータ） (2023-03-14T07:27:30Z)
• Natural Logic-guided Autoregressive Multi-hop Document Retrieval for Fact Verification [21.04611844009438]
  マルチホップ検索のための新しい検索・参照手法を提案する。 知識ソース内の文書と、以前検索された文書から文を共同でスコアする検索器で構成されている。 証拠が十分であると判断された場合、検索プロセスを動的に終了する証明システムによってガイドされる。
  論文  参考訳（メタデータ） (2022-12-10T11:32:38Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• CODER: An efficient framework for improving retrieval through COntextualized Document Embedding Reranking [11.635294568328625]
  本稿では,最小計算コストで広範囲の検索モデルの性能を向上させるためのフレームワークを提案する。 ベース密度検索法により抽出された事前計算された文書表現を利用する。 実行時に第一段階のメソッドの上に無視可能な計算オーバーヘッドを発生させ、最先端の高密度検索手法と簡単に組み合わせられるようにする。
  論文  参考訳（メタデータ） (2021-12-16T10:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。