論文の概要: High-Throughput Vector Similarity Search in Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2304.01926v1
• Date: Tue, 4 Apr 2023 16:19:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 13:14:56.802531
• Title: High-Throughput Vector Similarity Search in Knowledge Graphs
• Title（参考訳）: 知識グラフを用いた高速ベクトル類似度探索
• Authors: Jason Mohoney, Anil Pacaci, Shihabur Rahman Chowdhury, Ali Mousavi, Ihab F. Ilyas, Umar Farooq Minhas, Jeffrey Pound, Theodoros Rekatsinas
• Abstract要約: 最近のデータ管理システムでは,オンラインベクトル類似検索によるクエリ処理の拡張が提案されている。 本稿では,クエリの一部がベクトル類似性検索に対応するような,ハイブリッドなベクトル類似性検索(略してハイブリッドクエリ)に焦点を当てる。 本稿では,ハイブリッドクエリの高スループットバッチ処理のためのシステムHQIを提案する。
• 参考スコア（独自算出の注目度）: 17.41683819564348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is an increasing adoption of machine learning for encoding data into vectors to serve online recommendation and search use cases. As a result, recent data management systems propose augmenting query processing with online vector similarity search. In this work, we explore vector similarity search in the context of Knowledge Graphs (KGs). Motivated by the tasks of finding related KG queries and entities for past KG query workloads, we focus on hybrid vector similarity search (hybrid queries for short) where part of the query corresponds to vector similarity search and part of the query corresponds to predicates over relational attributes associated with the underlying data vectors. For example, given past KG queries for a song entity, we want to construct new queries for new song entities whose vector representations are close to the vector representation of the entity in the past KG query. But entities in a KG also have non-vector attributes such as a song associated with an artist, a genre, and a release date. Therefore, suggested entities must also satisfy query predicates over non-vector attributes beyond a vector-based similarity predicate. While these tasks are central to KGs, our contributions are generally applicable to hybrid queries. In contrast to prior works that optimize online queries, we focus on enabling efficient batch processing of past hybrid query workloads. We present our system, HQI, for high-throughput batch processing of hybrid queries. We introduce a workload-aware vector data partitioning scheme to tailor the vector index layout to the given workload and describe a multi-query optimization technique to reduce the overhead of vector similarity computations. We evaluate our methods on industrial workloads and demonstrate that HQI yields a 31x improvement in throughput for finding related KG queries compared to existing hybrid query processing approaches.
• Abstract（参考訳）: オンラインレコメンデーションと検索のユースケースを提供するために、ベクターにデータをエンコードするための機械学習の採用が増えている。 その結果、最近のデータ管理システムでは、オンラインベクトル類似検索によるクエリ処理の強化が提案されている。 本研究では,知識グラフ(KG)の文脈におけるベクトル類似性探索について検討する。 KGクエリと過去のKGクエリ処理のエンティティを検索するタスクによって、クエリの一部がベクトル類似性検索に対応し、クエリの一部が基礎となるデータベクトルに関連する関係属性を述語するハイブリッドベクトル類似性検索(略してハイブリッドクエリ)に焦点を当てる。 例えば、過去のKGクエリが楽曲エンティティに対して与えられた場合、ベクトル表現が過去のKGクエリのエンティティのベクトル表現に近い新しい曲エンティティのための新しいクエリを構築したい。 しかし、KGのエンティティは、アーティストに関連する曲、ジャンル、リリース日といった非ベクター属性も持っている。 したがって、提案されたエンティティは、ベクトルベースの類似性述語以外の非ベクトル属性に対するクエリ述語も満たさなければならない。 これらのタスクはKGの中心ですが、私たちのコントリビューションは一般的にハイブリッドクエリに適用できます。 オンラインクエリを最適化する以前の作業とは対照的に、過去のハイブリッドクエリワークロードの効率的なバッチ処理の実現に重点を置いています。 本稿では,ハイブリッドクエリの高スループットバッチ処理のためのシステムhqiを提案する。 本稿では,与えられたワークロードに対してベクトルインデックスレイアウトを調整するためのワークロード対応ベクトルデータパーティショニングスキームを導入し,ベクトル類似性計算のオーバーヘッドを削減するマルチクエリ最適化手法について述べる。 産業負荷に対する我々の手法を評価し,HQIが既存のハイブリッドクエリ処理手法と比較して,関連するKGクエリのスループットを31倍に向上することを示す。

関連論文リスト

• Effective Instruction Parsing Plugin for Complex Logical Query Answering on Knowledge Graphs [51.33342412699939]
  知識グラフクエリ埋め込み(KGQE)は、不完全なKGに対する複雑な推論のために、低次元KG空間に一階論理(FOL)クエリを埋め込むことを目的としている。 近年の研究では、FOLクエリの論理的セマンティクスをよりよく捉えるために、さまざまな外部情報(エンティティタイプや関係コンテキストなど)を統合している。 コードのようなクエリ命令から遅延クエリパターンをキャプチャする効果的なクエリ命令解析(QIPP)を提案する。
  論文  参考訳（メタデータ） (2024-10-27T03:18:52Z)
• Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes? [62.57689536630933]
  本稿では,オープンソースのLucene検索ライブラリを用いたBEIRデータセットの実験結果について述べる。 本研究は,高密度かつ疎密なレトリバーの設計空間を理解するための,今日の検索実践者へのガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-09-10T12:46:23Z)
• User Intent Recognition and Semantic Cache Optimization-Based Query Processing Framework using CFLIS and MGR-LAU [0.0]
  この研究は、拡張QPのためのクエリにおける情報、ナビゲーション、およびトランザクションベースのインテントを分析した。 効率的なQPのために、データはEpanechnikov Kernel-Ordering Pointsを用いて構造化され、クラスタリング構造(EK-OPTICS)を同定する。 抽出された特徴、検出された意図、構造化データは、MGR-LAU(Multi-head Gated Recurrent Learnable Attention Unit)に入力される。
  論文  参考訳（メタデータ） (2024-06-06T20:28:05Z)
• Generative Retrieval as Multi-Vector Dense Retrieval [71.75503049199897]
  生成検索は、文書の識別子をエンドツーエンドで生成する。 それまでの研究は、原子識別子による生成的検索が単一ベクトル密度検索と等価であることを示した。 生成的検索と多ベクトル高密度検索は,文書の問合せに対する関連性を測定するのと同じ枠組みを共有していることを示す。
  論文  参考訳（メタデータ） (2024-03-31T13:29:43Z)
• Efficient Data Access Paths for Mixed Vector-Relational Search [8.80592433569832]
  機械学習とベクトル埋め込みを用いたデータ処理手法の採用は、ベクトルデータ管理のためのシステム構築に大きな関心を喚起した。 ベクトルデータ管理の主流のアプローチは、ベクトル埋め込み全体を高速に検索するために特別なインデックス構造を使用することであるが、一度他の(メタ)データと組み合わせると、検索クエリはリレーショナル属性に対して選択的になる。 ベクトルインデックスは従来の関係データアクセスと異なるため、効率的な混合ベクトル関係探索のための代替アクセスパスを再検討し分析する。
  論文  参考訳（メタデータ） (2024-03-23T11:34:17Z)
• LeanVec: Searching vectors faster by making them fit [1.0863382547662974]
  本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。 LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2023-12-26T21:14:59Z)
• Building Interpretable and Reliable Open Information Retriever for New Domains Overnight [67.03842581848299]
  情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。 本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。 より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-09T07:47:17Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Navigable Proximity Graph-Driven Native Hybrid Queries with Structured and Unstructured Constraints [10.842138336245384]
  本稿では,近接グラフ(PG)に基づくネイティブハイブリッドクエリ(NHQ)フレームワークを提案する。 エッジ選択とルーティング戦略を最適化したナビゲーション可能な新しいPGを2つ提案し、既存のPGよりも全体的な性能が向上した。
  論文  参考訳（メタデータ） (2022-03-25T12:02:37Z)
• Learning Query Expansion over the Nearest Neighbor Graph [94.80212602202518]
  グラフクエリ拡張(GQE)が提示され、教師付き方法で学習され、クエリの拡張近傍で集約を実行する。 この技術は既知のベンチマークよりも最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-12-05T19:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。