論文の概要: Comparative Analysis of Retrieval Systems in the Real World

• arxiv url: http://arxiv.org/abs/2405.02048v1
• Date: Fri, 3 May 2024 12:30:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 12:55:53.322423
• Title: Comparative Analysis of Retrieval Systems in the Real World
• Title（参考訳）: 実世界における検索システムの比較分析
• Authors: Dmytro Mozolevskyi, Waseem AlShikh,
• Abstract要約: 本研究の目的は,その性能を精度と効率の観点から評価・比較することである。 この分析では、Azure Cognitive Search RetrieverとGPT-4、PineconeのCanopyフレームワーク、LangchainとPineconeのさまざまな言語モデルなど、さまざまなテクノロジの組み合わせについて検討している。 この分析の動機は、様々な領域における堅牢で応答性の高い質問応答システムに対する需要の増加から生じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This research paper presents a comprehensive analysis of integrating advanced language models with search and retrieval systems in the fields of information retrieval and natural language processing. The objective is to evaluate and compare various state-of-the-art methods based on their performance in terms of accuracy and efficiency. The analysis explores different combinations of technologies, including Azure Cognitive Search Retriever with GPT-4, Pinecone's Canopy framework, Langchain with Pinecone and different language models (OpenAI, Cohere), LlamaIndex with Weaviate Vector Store's hybrid search, Google's RAG implementation on Cloud VertexAI-Search, Amazon SageMaker's RAG, and a novel approach called KG-FID Retrieval. The motivation for this analysis arises from the increasing demand for robust and responsive question-answering systems in various domains. The RobustQA metric is used to evaluate the performance of these systems under diverse paraphrasing of questions. The report aims to provide insights into the strengths and weaknesses of each method, facilitating informed decisions in the deployment and development of AI-driven search and retrieval systems.
• Abstract（参考訳）: 本研究では,情報検索と自然言語処理の分野において,高度な言語モデルと検索・検索システムの統合を包括的に分析する。 本研究の目的は,その性能を精度と効率の観点から評価・比較することである。 この分析では、Azure Cognitive Search Retriever with GPT-4、PineconeのCanopyフレームワーク、Langchain with Pineconeと異なる言語モデル(OpenAI、Cohere)、LlamaIndex with Weaviate Vector Storeのハイブリッド検索、GoogleのCloud VertexAI-SearchにおけるRAG実装、Amazon SageMakerのRAG、KG-FID Retrievalと呼ばれる新しいアプローチなど、さまざまなテクノロジの組み合わせが検討されている。 この分析の動機は、様々な領域における堅牢で応答性の高い質問応答システムに対する需要の増加から生じる。 RobustQAメトリックは、様々な質問のパラフレーズの下でこれらのシステムの性能を評価するために使用される。 このレポートは,AIによる検索・検索システムの展開・開発において,各手法の長所と短所に関する洞察を提供することを目的としている。

関連論文リスト

• Technical Report: Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Optimizing Retrieval-Augmented Generation with Elasticsearch for Enhanced Question-Answering Systems [2.4299671488193497]
  本研究の目的は,大規模言語モデル(LLM)の精度と品質を,検索型拡張生成(RAG)フレームワークに統合することにより改善することである。 この実験では、テストデータセットとしてSQuAD(Stanford Question Answering dataset)バージョン2.0が使用されている。
  論文  参考訳（メタデータ） (2024-10-18T04:17:49Z)
• Learning to Rank for Multiple Retrieval-Augmented Models through Iterative Utility Maximization [21.115495457454365]
  本稿では,複数検索拡張世代(RAG)エージェントを対象とした統合検索エンジンの設計について検討する。 本稿では,これらのRAGエージェントの検索結果を検索エンジンが生成し,オフラインで検索した文書の品質に関するフィードバックを収集する反復的手法を提案する。 我々は、このアプローチをオンライン環境に適応させ、リアルタイムな個別エージェントのフィードバックに基づいて、検索エンジンがその振る舞いを洗練できるようにする。
  論文  参考訳（メタデータ） (2024-10-13T17:53:50Z)
• A Knowledge-Centric Benchmarking Framework and Empirical Study for Retrieval-Augmented Generation [4.359511178431438]
  Retrieval-Augmented Generation (RAG)は、検索機構を統合することで生成モデルを強化する。 その利点にもかかわらず、RAGは特に現実世界のクエリを効果的に処理する上で、大きな課題に直面している。 本稿では,これらの課題に対処する新しいRAGベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-09-03T03:31:37Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models [21.115495457454365]
  uRAGは、複数の下流検索拡張生成システム(RAG)を提供する統合検索エンジンを備えたフレームワークである。 我々は、訓練に従事する18のRAGシステムと、uRAGを検索エンジンの新規ユーザとして使用する18の未知のRAGシステムからなる大規模な実験エコシステムを構築した。
  論文  参考訳（メタデータ） (2024-04-30T19:51:37Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• End-to-End Open Vocabulary Keyword Search With Multilingual Neural Representations [7.780766187171571]
  競合性能を実現するニューラルネットワークによるASRフリーキーワード検索モデルを提案する。 本研究は,多言語事前学習と詳細なモデル解析により拡張する。 実験の結果,提案した多言語学習はモデルの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-15T20:33:25Z)
• Large Language Models for Information Retrieval: A Survey [58.30439850203101]
  情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。 近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。 LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
  論文  参考訳（メタデータ） (2023-08-14T12:47:22Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Neural Entity Linking: A Survey of Models Based on Deep Learning [82.43751915717225]
  本調査では,2015年以降に開発されたニューラルエンティティリンク(EL)システムの包括的記述について報告する。 その目標は、ニューラルエンティティリンクシステムの設計機能を体系化し、それらのパフォーマンスを一般的なベンチマーク上の注目すべき古典的手法と比較することである。 この調査はエンティティリンクの応用に焦点をあて、最近出現した、深い事前訓練されたマスキング言語モデルを強化するユースケースに焦点を当てている。
  論文  参考訳（メタデータ） (2020-05-31T18:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。