論文の概要: Knowledge Refinement via Interaction Between Search Engines and Large
Language Models
- arxiv url: http://arxiv.org/abs/2305.07402v2
- Date: Sun, 21 May 2023 14:58:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 02:42:57.579280
- Title: Knowledge Refinement via Interaction Between Search Engines and Large
Language Models
- Title(参考訳): 検索エンジンと大規模言語モデル間の相互作用による知識のリファインメント
- Authors: Jiazhan Feng, Chongyang Tao, Xiubo Geng, Tao Shen, Can Xu, Guodong
Long, Dongyan Zhao, Daxin Jiang
- Abstract要約: InteRは、検索エンジンと大規模言語モデル間の相互作用を通じて知識の洗練を促進する新しいフレームワークである。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
- 参考スコア(独自算出の注目度): 110.32754416072659
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Information retrieval (IR) plays a crucial role in locating relevant
resources from vast amounts of data, and its applications have evolved from
traditional knowledge bases to modern search engines (SEs). The emergence of
large language models (LLMs) has further revolutionized the IR field by
enabling users to interact with search systems in natural language. In this
paper, we explore the advantages and disadvantages of LLMs and SEs,
highlighting their respective strengths in understanding user-issued queries
and retrieving up-to-date information. To leverage the benefits of both
paradigms while circumventing their limitations, we propose InteR, a novel
framework that facilitates knowledge refinement through interaction between SEs
and LLMs. InteR allows SEs to expand knowledge in queries using LLM-generated
knowledge collections and enables LLMs to enhance prompt formulation using
SE-retrieved documents. This iterative refinement process augments the inputs
of SEs and LLMs, leading to more accurate retrieval. Experiments on large-scale
retrieval benchmarks involving web search and low-resource retrieval tasks
demonstrate that InteR achieves overall superior zero-shot retrieval
performance compared to state-of-the-art methods, even those using relevance
judgment. Source code is available at https://github.com/Cyril-JZ/InteR
- Abstract(参考訳): 情報検索(IR)は大量のデータから関連資源を抽出する上で重要な役割を担い、その応用は従来の知識ベースから現代の検索エンジン(SE)へと進化してきた。
大規模言語モデル(LLM)の出現は、ユーザーが自然言語で検索システムと対話できるようにすることによって、IR分野にさらなる革命をもたらした。
本稿では,LLMとSEの長所と短所を考察し,ユーザ発行クエリの理解と最新情報検索におけるそれぞれの強みを強調した。
制約を回避しつつ両方のパラダイムの利点を活用するために,SEとLLMの相互作用を通じて知識の洗練を促進する新しいフレームワークであるInteRを提案する。
InteRは、SEがLLM生成した知識コレクションを使用してクエリの知識を拡大し、SE検索されたドキュメントを使用した迅速な定式化を強化する。
この反復的精錬プロセスはSEとLSMの入力を増大させ、より正確な検索につながる。
Web検索と低リソース検索タスクを含む大規模検索ベンチマーク実験により、InteRは、関連判定を用いた場合でさえ、最先端の手法と比較して、全体的なゼロショット検索性能が優れていることが示された。
ソースコードはhttps://github.com/Cyril-JZ/InteRで入手できる。
関連論文リスト
- Redefining Information Retrieval of Structured Database via Large Language Models [9.65171883231521]
本稿では,ChatLRと呼ばれる新しい検索拡張フレームワークを提案する。
主に、Large Language Models (LLM) の強力な意味理解能力を用いて、正確かつ簡潔な情報検索を実現する。
実験の結果、ChatLRがユーザクエリに対処する効果を示し、全体の情報検索精度は98.8%を超えた。
論文 参考訳(メタデータ) (2024-05-09T02:37:53Z) - Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - Self-Retrieval: Building an Information Retrieval System with One Large
Language Model [102.78988790457004]
Self-Retrievalは、エンドツーエンドのLLM駆動の情報検索アーキテクチャである。
本稿では,自己検索が従来の検索手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-02-23T18:45:35Z) - Navigating the Knowledge Sea: Planet-scale answer retrieval using LLMs [0.0]
情報検索は、技術と技術の継続的な改良によって特徴づけられる。
本稿では,従来の探索手法と解答の新たなパラダイムとのギャップを埋める上で,Large Language Models (LLMs) の役割に焦点を当てる。
論文 参考訳(メタデータ) (2024-02-07T23:39:40Z) - ReSLLM: Large Language Models are Strong Resource Selectors for
Federated Search [35.44746116088232]
フェデレーション検索は、Retrieval-Augmented Generationパイプラインのコンテキストにおいて、ますます重要になる。
現在のSOTA資源選択手法は特徴に基づく学習手法に依存している。
ゼロショット環境でのフェデレーション検索における資源選択を促進するために,ReSLLMを提案する。
論文 参考訳(メタデータ) (2024-01-31T07:58:54Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation
with Graph-Structured Knowledge Context [4.368725325557961]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳(メタデータ) (2024-01-23T11:25:34Z) - Large Language Models for Information Retrieval: A Survey [57.7992728506871]
情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。
近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。
LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
論文 参考訳(メタデータ) (2023-08-14T12:47:22Z) - RRAML: Reinforced Retrieval Augmented Machine Learning [10.94680155282906]
我々はReinforced Retrieval Augmented Machine Learning (RRAML)と呼ばれる新しいフレームワークを提案する。
RRAMLは、大規模な言語モデルの推論機能と、巨大なユーザが提供するデータベースから目的に構築された検索者によって取得された情報を統合する。
この論文で概説された研究課題は、AIの分野に大きな影響を与える可能性があると信じている。
論文 参考訳(メタデータ) (2023-07-24T13:51:19Z) - Search-in-the-Chain: Interactively Enhancing Large Language Models with
Search for Knowledge-intensive Tasks [121.74957524305283]
本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。
実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
論文 参考訳(メタデータ) (2023-04-28T10:15:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。