Fugu-MT 論文翻訳(概要): LLM-assisted vector similarity search

論文の概要: LLM-assisted vector similarity search

arxiv url: http://arxiv.org/abs/2412.18819v1
Date: Wed, 25 Dec 2024 08:17:37 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-30 17:29:10.797432
Title: LLM-assisted vector similarity search
Title（参考訳）: LLMを用いたベクトル類似性探索
Authors: Md Riyadh, Muqi Li, Felix Haryanto Lie, Jia Long Loh, Haotian Mi, Sayam Bohra,
Abstract要約: 本稿では,ベクトル類似性探索とLarge Language Models(LLMs)を組み合わせたハイブリッド手法を提案する。構造化データセットの実験では、ベクトル類似性検索は単純なクエリに対してのみうまく機能するが、LLM支援アプローチは制約、否定、概念的な要求を含む複雑なクエリを処理するのに優れている。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: As data retrieval demands become increasingly complex, traditional search methods often fall short in addressing nuanced and conceptual queries. Vector similarity search has emerged as a promising technique for finding semantically similar information efficiently. However, its effectiveness diminishes when handling intricate queries with contextual nuances. This paper explores a hybrid approach combining vector similarity search with Large Language Models (LLMs) to enhance search accuracy and relevance. The proposed two-step solution first employs vector similarity search to shortlist potential matches, followed by an LLM for context-aware ranking of the results. Experiments on structured datasets demonstrate that while vector similarity search alone performs well for straightforward queries, the LLM-assisted approach excels in processing complex queries involving constraints, negations, or conceptual requirements. By leveraging the natural language understanding capabilities of LLMs, this method improves the accuracy of search results for complex tasks without sacrificing efficiency. We also discuss real-world applications and propose directions for future research to refine and scale this technique for diverse datasets and use cases. Original article: https://engineering.grab.com/llm-assisted-vector-similarity-search
Abstract（参考訳）: データ検索の要求がますます複雑化するにつれて、従来の検索手法はニュアンス付きおよび概念的なクエリに対処するのに不足することが多い。ベクトル類似性探索は意味的に類似した情報を効率的に見つけるための有望な手法として登場した。しかし、複雑なクエリをコンテキストニュアンスで扱うと、その効果は低下する。本稿では,ベクトル類似性探索とLarge Language Models(LLMs)を組み合わせたハイブリッド手法を提案する。提案した2段階の解は、まず、ベクトル類似性検索をショートリストのポテンシャルマッチングに使用し、次いで、文脈対応の検索結果ランキングにLLMを用いる。構造化データセットの実験では、ベクトル類似性検索は単純なクエリに対してのみうまく機能するが、LLM支援アプローチは制約、否定、概念的な要求を含む複雑なクエリを処理するのに優れている。 LLMの自然言語理解機能を活用することで、複雑なタスクに対する検索結果の精度を効率を犠牲にすることなく向上する。また、実世界の応用について議論し、様々なデータセットやユースケースに対して、この技術を洗練・拡張するための今後の研究の方向性を提案する。原文:https://engineering.grab.com/llm-assisted-vector-similarity-search

関連論文リスト

VectorSearch: Enhancing Document Retrieval with Semantic Embeddings and Optimized Search [1.0411820336052784]
本稿では、高度なアルゴリズム、埋め込み、インデックス化技術を活用して洗練された検索を行うVectorSearchを提案する。提案手法は,革新的なマルチベクタ探索操作と高度な言語モデルによる検索の符号化を利用して,検索精度を大幅に向上させる。実世界のデータセットの実験では、VectorSearchがベースラインのメトリクスを上回っている。
論文参考訳（メタデータ） (2024-09-25T21:58:08Z)
Hybrid Semantic Search: Unveiling User Intent Beyond Keywords [0.0]
本稿では,ユーザの意図を理解する上で,従来のキーワードベースの検索の限界に対処する。非意味的な検索エンジン、LLM(Large Language Models)、埋め込みモデルの強みを活用する新しいハイブリッド検索手法を導入する。
論文参考訳（メタデータ） (2024-08-17T16:04:31Z)
Retrieval with Learned Similarities [2.729516456192901]
最先端の検索アルゴリズムは、学習された類似点に移行した。そこで本研究では,Mixture-of-Logits (MoL) を実証的に実現し,多様な検索シナリオにおいて優れた性能が得られることを示す。
論文参考訳（メタデータ） (2024-07-22T08:19:34Z)
Learning to Retrieve Iteratively for In-Context Learning [56.40100968649039]
イテレーティブ検索は、ポリシー最適化によるイテレーティブな意思決定を可能にする、新しいフレームワークである。テキスト内学習例を構成するための反復型検索器をインスタンス化し,様々な意味解析タスクに適用する。ステートエンコーディングのためのパラメータを4M追加するだけで、オフザシェルフの高密度レトリバーをステートフル反復レトリバーに変換する。
論文参考訳（メタデータ） (2024-06-20T21:07:55Z)
Generative Retrieval as Multi-Vector Dense Retrieval [71.75503049199897]
生成検索は、文書の識別子をエンドツーエンドで生成する。それまでの研究は、原子識別子による生成的検索が単一ベクトル密度検索と等価であることを示した。生成的検索と多ベクトル高密度検索は,文書の問合せに対する関連性を測定するのと同じ枠組みを共有していることを示す。
論文参考訳（メタデータ） (2024-03-31T13:29:43Z)
Efficient Data Access Paths for Mixed Vector-Relational Search [8.80592433569832]
機械学習とベクトル埋め込みを用いたデータ処理手法の採用は、ベクトルデータ管理のためのシステム構築に大きな関心を喚起した。ベクトルデータ管理の主流のアプローチは、ベクトル埋め込み全体を高速に検索するために特別なインデックス構造を使用することであるが、一度他の(メタ)データと組み合わせると、検索クエリはリレーショナル属性に対して選択的になる。ベクトルインデックスは従来の関係データアクセスと異なるため、効率的な混合ベクトル関係探索のための代替アクセスパスを再検討し分析する。
論文参考訳（メタデータ） (2024-03-23T11:34:17Z)
Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文参考訳（メタデータ） (2024-03-21T13:52:30Z)
AutoKG: Efficient Automated Knowledge Graph Generation for Language Models [9.665916299598338]
AutoKGは、知識グラフの自動構築のための軽量で効率的なアプローチである。予備実験により、AutoKGはより包括的で相互接続された知識検索メカニズムを提供することが示された。
論文参考訳（メタデータ） (2023-11-22T08:58:25Z)
Large Search Model: Redefining Search Stack in the Era of LLMs [63.503320030117145]
我々は,1つの大言語モデル(LLM)で検索タスクを統一することにより,従来の検索スタックを再定義する,大規模検索モデルと呼ばれる新しい概念的フレームワークを導入する。全てのタスクは自動回帰テキスト生成問題として定式化され、自然言語のプロンプトを使ってタスクをカスタマイズできる。提案フレームワークは,LLMの強力な言語理解と推論能力を活用し,既存の検索スタックを簡素化しつつ,検索結果の質を向上させる能力を提供する。
論文参考訳（メタデータ） (2023-10-23T05:52:09Z)
Relation-aware Ensemble Learning for Knowledge Graph Embedding [68.94900786314666]
我々は,既存の手法を関係性に配慮した方法で活用し,アンサンブルを学習することを提案する。関係認識アンサンブルを用いてこれらのセマンティクスを探索すると、一般的なアンサンブル法よりもはるかに大きな検索空間が得られる。本稿では,リレーショナルなアンサンブル重みを独立に検索する分割探索合成アルゴリズムRelEns-DSCを提案する。
論文参考訳（メタデータ） (2023-10-13T07:40:12Z)
PyGlove: Symbolic Programming for Automated Machine Learning [88.15565138144042]
シンボリックプログラミングに基づくAutoMLの新しいプログラミング方法を紹介します。このパラダイムでは、MLプログラムは変更可能であるため、他のプログラムで簡単に操作できます。 PyGloveユーザーは、静的プログラムを検索空間に簡単に変換し、検索空間と検索アルゴリズムをすばやく繰り返し、複雑な検索フローを作成できることを示しています。
論文参考訳（メタデータ） (2021-01-21T19:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。