論文の概要: Knowledge Refinement via Interaction Between Search Engines and Large
Language Models
- arxiv url: http://arxiv.org/abs/2305.07402v1
- Date: Fri, 12 May 2023 11:58:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 13:09:07.855403
- Title: Knowledge Refinement via Interaction Between Search Engines and Large
Language Models
- Title(参考訳): 検索エンジンと大規模言語モデル間の相互作用による知識のリファインメント
- Authors: Jiazhan Feng, Chongyang Tao, Xiubo Geng, Tao Shen, Can Xu, Guodong
Long, Dongyan Zhao, Daxin Jiang
- Abstract要約: InteRは、検索エンジン(SE)と大規模言語モデル(LLM)の相互作用を通じて知識の洗練を促進する新しいフレームワークである。
InteRは、関連性判定によらず、最先端の手法よりも優れたゼロショット文書検索性能を実現する。
- 参考スコア(独自算出の注目度): 110.32754416072659
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Information retrieval (IR) plays a crucial role in locating relevant
resources from vast amounts of data, and its applications have evolved from
traditional knowledge bases to modern search engines (SEs). The emergence of
large language models (LLMs) has further revolutionized the field by enabling
users to interact with search systems in natural language. In this paper, we
explore the advantages and disadvantages of LLMs and SEs, highlighting their
respective strengths in understanding user-issued queries and retrieving
up-to-date information. To leverage the benefits of both paradigms while
circumventing their limitations, we propose InteR, a novel framework that
facilitates knowledge refinement through interaction between SEs and LLMs.
InteR allows SEs to refine knowledge in query using LLM-generated summaries and
enables LLMs to enhance prompts using SE-retrieved documents. This iterative
refinement process augments the inputs of SEs and LLMs, leading to more
accurate retrieval. Experimental evaluations on two large-scale retrieval
benchmarks demonstrate that InteR achieves superior zero-shot document
retrieval performance compared to state-of-the-art methods, regardless of the
use of relevance judgement.
- Abstract(参考訳): 情報検索(IR)は大量のデータから関連資源を抽出する上で重要な役割を担い、その応用は従来の知識ベースから現代の検索エンジン(SE)へと進化してきた。
大規模言語モデル(llms)の出現は、ユーザーが自然言語で検索システムと対話できるようにすることで、この分野をさらに変革させた。
本稿では,LLMとSEの長所と短所を考察し,ユーザ発行クエリの理解と最新情報検索におけるそれぞれの強みを強調した。
制約を回避しつつ両方のパラダイムの利点を活用するために,SEとLLMの相互作用を通じて知識の洗練を促進する新しいフレームワークであるInteRを提案する。
InteRは、SEがLLM生成したサマリを使用してクエリの知識を洗練し、SE検索されたドキュメントを使用したプロンプトの強化を可能にする。
この反復的精錬プロセスはSEとLSMの入力を増大させ、より正確な検索につながる。
2つの大規模検索ベンチマークによる実験結果から,InteRは関連性判定によらず,最先端の手法よりも優れたゼロショット文書検索性能が得られることが示された。
関連論文リスト
- Redefining Information Retrieval of Structured Database via Large Language Models [9.65171883231521]
本稿では,ChatLRと呼ばれる新しい検索拡張フレームワークを提案する。
主に、Large Language Models (LLM) の強力な意味理解能力を用いて、正確かつ簡潔な情報検索を実現する。
実験の結果、ChatLRがユーザクエリに対処する効果を示し、全体の情報検索精度は98.8%を超えた。
論文 参考訳(メタデータ) (2024-05-09T02:37:53Z) - Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - Self-Retrieval: Building an Information Retrieval System with One Large
Language Model [102.78988790457004]
Self-Retrievalは、エンドツーエンドのLLM駆動の情報検索アーキテクチャである。
本稿では,自己検索が従来の検索手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-02-23T18:45:35Z) - Navigating the Knowledge Sea: Planet-scale answer retrieval using LLMs [0.0]
情報検索は、技術と技術の継続的な改良によって特徴づけられる。
本稿では,従来の探索手法と解答の新たなパラダイムとのギャップを埋める上で,Large Language Models (LLMs) の役割に焦点を当てる。
論文 参考訳(メタデータ) (2024-02-07T23:39:40Z) - ReSLLM: Large Language Models are Strong Resource Selectors for
Federated Search [35.44746116088232]
フェデレーション検索は、Retrieval-Augmented Generationパイプラインのコンテキストにおいて、ますます重要になる。
現在のSOTA資源選択手法は特徴に基づく学習手法に依存している。
ゼロショット環境でのフェデレーション検索における資源選択を促進するために,ReSLLMを提案する。
論文 参考訳(メタデータ) (2024-01-31T07:58:54Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation
with Graph-Structured Knowledge Context [4.368725325557961]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳(メタデータ) (2024-01-23T11:25:34Z) - Large Language Models for Information Retrieval: A Survey [57.7992728506871]
情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。
近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。
LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
論文 参考訳(メタデータ) (2023-08-14T12:47:22Z) - RRAML: Reinforced Retrieval Augmented Machine Learning [10.94680155282906]
我々はReinforced Retrieval Augmented Machine Learning (RRAML)と呼ばれる新しいフレームワークを提案する。
RRAMLは、大規模な言語モデルの推論機能と、巨大なユーザが提供するデータベースから目的に構築された検索者によって取得された情報を統合する。
この論文で概説された研究課題は、AIの分野に大きな影響を与える可能性があると信じている。
論文 参考訳(メタデータ) (2023-07-24T13:51:19Z) - Search-in-the-Chain: Interactively Enhancing Large Language Models with
Search for Knowledge-intensive Tasks [121.74957524305283]
本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。
実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
論文 参考訳(メタデータ) (2023-04-28T10:15:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。