論文の概要: VectorSearch: Enhancing Document Retrieval with Semantic Embeddings and Optimized Search

• arxiv url: http://arxiv.org/abs/2409.17383v1
• Date: Wed, 25 Sep 2024 21:58:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-29 00:01:08.003271
• Title: VectorSearch: Enhancing Document Retrieval with Semantic Embeddings and Optimized Search
• Title（参考訳）: VectorSearch: セマンティックな埋め込みとドキュメント検索の強化 最適化探索
• Authors: Solmaz Seyed Monir, Irene Lau, Shubing Yang, Dongfang Zhao
• Abstract要約: 本稿では、高度なアルゴリズム、埋め込み、インデックス化技術を活用して洗練された検索を行うVectorSearchを提案する。 提案手法は,革新的なマルチベクタ探索操作と高度な言語モデルによる検索の符号化を利用して,検索精度を大幅に向上させる。 実世界のデータセットの実験では、VectorSearchがベースラインのメトリクスを上回っている。
• 参考スコア（独自算出の注目度）: 1.0411820336052784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional retrieval methods have been essential for assessing document similarity but struggle with capturing semantic nuances. Despite advancements in latent semantic analysis (LSA) and deep learning, achieving comprehensive semantic understanding and accurate retrieval remains challenging due to high dimensionality and semantic gaps. The above challenges call for new techniques to effectively reduce the dimensions and close the semantic gaps. To this end, we propose VectorSearch, which leverages advanced algorithms, embeddings, and indexing techniques for refined retrieval. By utilizing innovative multi-vector search operations and encoding searches with advanced language models, our approach significantly improves retrieval accuracy. Experiments on real-world datasets show that VectorSearch outperforms baseline metrics, demonstrating its efficacy for large-scale retrieval tasks.
• Abstract（参考訳）: 従来の検索手法は文書の類似性を評価するのに不可欠であるが、意味的なニュアンスを捉えるのに苦労している。 潜在意味分析(LSA)と深層学習の進歩にもかかわらず、包括的意味理解と正確な検索を実現することは、高次元性と意味的ギャップのために難しいままである。 上記の課題は、次元を効果的に減らし、意味的ギャップを埋めるための新しいテクニックを要求する。 そこで本研究では,高度なアルゴリズム,埋め込み,インデックス化技術を活用した検索手法であるVectorSearchを提案する。 提案手法は,革新的なマルチベクタ探索操作と高度な言語モデルによる検索の符号化を利用して,検索精度を大幅に向上させる。 実世界のデータセットの実験では、VectorSearchはベースラインのメトリクスよりも優れており、大規模な検索タスクに有効であることが示されている。

関連論文リスト

• Scholar Name Disambiguation with Search-enhanced LLM Across Language [0.2302001830524133]
  本稿では,複数の言語にまたがる検索強化言語モデルを用いて,名前の曖昧さを改善する手法を提案する。 検索エンジンの強力なクエリ書き換え、意図認識、およびデータインデックス機能を利用することで、エンティティの識別やプロファイルの抽出を行うため、よりリッチな情報を集めることができる。
  論文  参考訳（メタデータ） (2024-11-26T04:39:46Z)
• Hybrid Semantic Search: Unveiling User Intent Beyond Keywords [0.0]
  本稿では,ユーザの意図を理解する上で,従来のキーワードベースの検索の限界に対処する。 非意味的な検索エンジン、LLM(Large Language Models)、埋め込みモデルの強みを活用する新しいハイブリッド検索手法を導入する。
  論文  参考訳（メタデータ） (2024-08-17T16:04:31Z)
• Evaluation of Semantic Search and its Role in Retrieved-Augmented-Generation (RAG) for Arabic Language [0.0]
  本稿では,アラビア語のセマンティックサーチにおいて,単純かつ強力なベンチマークの確立に尽力する。 これらの指標とデータセットの有効性を正確に評価するために、検索拡張生成(RAG)の枠組み内で意味探索の評価を行う。
  論文  参考訳（メタデータ） (2024-03-27T08:42:31Z)
• Dense X Retrieval: What Retrieval Granularity Should We Use? [56.90827473115201]
  しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。 本稿では,高密度検索のための新しい検索ユニット,命題を提案する。 実験により、提案のような細粒度単位によるコーパスのインデックス付けは、検索タスクにおける通過レベル単位を著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-11T18:57:35Z)
• Lexically-Accelerated Dense Retrieval [29.327878974130055]
  LADR (Lexically-Accelerated Dense Retrieval) は, 既存の高密度検索モデルの効率を向上する, 簡便な手法である。 LADRは、標準ベンチマークでの徹底的な検索と同等の精度とリコールの両方を一貫して達成する。
  論文  参考訳（メタデータ） (2023-07-31T15:44:26Z)
• How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
  各種コーパス尺度における生成的検索手法の実証的研究を行った。 我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。 生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
  論文  参考訳（メタデータ） (2023-05-19T17:33:38Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• Semantic Search for Large Scale Clinical Ontologies [63.71950996116403]
  本稿では,大規模臨床語彙検索システムを構築するための深層学習手法を提案する。 本稿では,意味学習データに基づくトレーニングデータを生成するTriplet-BERTモデルを提案する。 このモデルは,5つの実ベンチマークデータセットを用いて評価され,提案手法は自由テキストから概念,概念まで,概念語彙の検索において高い結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-01-01T05:15:42Z)
• Exposing Query Identification for Search Transparency [69.06545074617685]
  本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。 本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
  論文  参考訳（メタデータ） (2021-10-14T20:19:27Z)
• TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval [103.85002875155551]
  本研究では,大規模言語前訓練を利用した一般化蒸留法TeachTextを提案する。 提案手法をビデオ側モダリティに拡張し,テスト時に使用するモダリティの数を効果的に削減できることを示す。 提案手法は,いくつかのビデオ検索ベンチマークの精度を著しく向上させ,テスト時の計算オーバーヘッドを増加させない。
  論文  参考訳（メタデータ） (2021-04-16T17:55:28Z)
• Leveraging Cognitive Search Patterns to Enhance Automated Natural Language Retrieval Performance [0.0]
  ユーザの検索行動を模倣する認知的再構成パターンが強調されている。 問合せの概念表現を考慮し,これらのパターンの適用を形式化する。 遺伝的アルゴリズムに基づく重み付けプロセスでは、概念的役割タイプに応じて用語に重点を置くことができる。
  論文  参考訳（メタデータ） (2020-04-21T14:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。