論文の概要: High-Throughput Vector Similarity Search in Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2304.01926v1
- Date: Tue, 4 Apr 2023 16:19:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 13:14:56.802531
- Title: High-Throughput Vector Similarity Search in Knowledge Graphs
- Title(参考訳): 知識グラフを用いた高速ベクトル類似度探索
- Authors: Jason Mohoney, Anil Pacaci, Shihabur Rahman Chowdhury, Ali Mousavi,
Ihab F. Ilyas, Umar Farooq Minhas, Jeffrey Pound, Theodoros Rekatsinas
- Abstract要約: 最近のデータ管理システムでは,オンラインベクトル類似検索によるクエリ処理の拡張が提案されている。
本稿では,クエリの一部がベクトル類似性検索に対応するような,ハイブリッドなベクトル類似性検索(略してハイブリッドクエリ)に焦点を当てる。
本稿では,ハイブリッドクエリの高スループットバッチ処理のためのシステムHQIを提案する。
- 参考スコア(独自算出の注目度): 17.41683819564348
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is an increasing adoption of machine learning for encoding data into
vectors to serve online recommendation and search use cases. As a result,
recent data management systems propose augmenting query processing with online
vector similarity search. In this work, we explore vector similarity search in
the context of Knowledge Graphs (KGs). Motivated by the tasks of finding
related KG queries and entities for past KG query workloads, we focus on hybrid
vector similarity search (hybrid queries for short) where part of the query
corresponds to vector similarity search and part of the query corresponds to
predicates over relational attributes associated with the underlying data
vectors. For example, given past KG queries for a song entity, we want to
construct new queries for new song entities whose vector representations are
close to the vector representation of the entity in the past KG query. But
entities in a KG also have non-vector attributes such as a song associated with
an artist, a genre, and a release date. Therefore, suggested entities must also
satisfy query predicates over non-vector attributes beyond a vector-based
similarity predicate. While these tasks are central to KGs, our contributions
are generally applicable to hybrid queries. In contrast to prior works that
optimize online queries, we focus on enabling efficient batch processing of
past hybrid query workloads. We present our system, HQI, for high-throughput
batch processing of hybrid queries. We introduce a workload-aware vector data
partitioning scheme to tailor the vector index layout to the given workload and
describe a multi-query optimization technique to reduce the overhead of vector
similarity computations. We evaluate our methods on industrial workloads and
demonstrate that HQI yields a 31x improvement in throughput for finding related
KG queries compared to existing hybrid query processing approaches.
- Abstract(参考訳): オンラインレコメンデーションと検索のユースケースを提供するために、ベクターにデータをエンコードするための機械学習の採用が増えている。
その結果、最近のデータ管理システムでは、オンラインベクトル類似検索によるクエリ処理の強化が提案されている。
本研究では,知識グラフ(KG)の文脈におけるベクトル類似性探索について検討する。
KGクエリと過去のKGクエリ処理のエンティティを検索するタスクによって、クエリの一部がベクトル類似性検索に対応し、クエリの一部が基礎となるデータベクトルに関連する関係属性を述語するハイブリッドベクトル類似性検索(略してハイブリッドクエリ)に焦点を当てる。
例えば、過去のKGクエリが楽曲エンティティに対して与えられた場合、ベクトル表現が過去のKGクエリのエンティティのベクトル表現に近い新しい曲エンティティのための新しいクエリを構築したい。
しかし、KGのエンティティは、アーティストに関連する曲、ジャンル、リリース日といった非ベクター属性も持っている。
したがって、提案されたエンティティは、ベクトルベースの類似性述語以外の非ベクトル属性に対するクエリ述語も満たさなければならない。
これらのタスクはKGの中心ですが、私たちのコントリビューションは一般的にハイブリッドクエリに適用できます。
オンラインクエリを最適化する以前の作業とは対照的に、過去のハイブリッドクエリワークロードの効率的なバッチ処理の実現に重点を置いています。
本稿では,ハイブリッドクエリの高スループットバッチ処理のためのシステムhqiを提案する。
本稿では,与えられたワークロードに対してベクトルインデックスレイアウトを調整するためのワークロード対応ベクトルデータパーティショニングスキームを導入し,ベクトル類似性計算のオーバーヘッドを削減するマルチクエリ最適化手法について述べる。
産業負荷に対する我々の手法を評価し,HQIが既存のハイブリッドクエリ処理手法と比較して,関連するKGクエリのスループットを31倍に向上することを示す。
関連論文リスト
- LeanVec: Search your vectors faster by making them fit [1.1511012020557323]
本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。
LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
論文 参考訳(メタデータ) (2023-12-26T21:14:59Z) - Context-Enhanced Relational Operators with Vector Embeddings [8.80592433569832]
本稿では,コンテキスト強化型リレーショナル結合を提案し,リレーショナル演算子と結合可能な埋め込み演算子を提案する。
これにより、リレーショナル代数と代数的同値性を持つハイブリッドリレーショナルおよびコンテキストリッチなベクトルデータ処理が可能となる。
論理的から物理的まで、全体最適化の重要性は、実行時間を大幅に改善する順に示される。
論文 参考訳(メタデータ) (2023-12-03T18:23:48Z) - Building Interpretable and Reliable Open Information Retriever for New
Domains Overnight [67.03842581848299]
情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。
本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。
より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-08-09T07:47:17Z) - Improving Text Matching in E-Commerce Search with A Rationalizable,
Intervenable and Fast Entity-Based Relevance Model [78.80174696043021]
エンティティベース関連モデル(EBRM)と呼ばれる新しいモデルを提案する。
この分解により、高精度にクロスエンコーダQE関連モジュールを使用できる。
また、ユーザログから自動生成されたQEデータによるQEモジュールの事前トレーニングにより、全体的なパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2023-07-01T15:44:53Z) - Modeling Relational Patterns for Logical Query Answering over Knowledge
Graphs [20.92043251523278]
そこで我々は,複雑な空間における回転により,クエリ領域を幾何学的円錐と代数的クエリ演算子として定義する新しいクエリ埋め込み手法RoConEを開発した。
いくつかのベンチマークデータセットに対する実験結果から,論理的問合せ処理の強化のための関係パターンの利点が確認された。
論文 参考訳(メタデータ) (2023-03-21T13:59:15Z) - UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question
Answering Over Knowledge Graph [89.98762327725112]
KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。
我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
論文 参考訳(メタデータ) (2022-12-02T04:08:09Z) - Navigable Proximity Graph-Driven Native Hybrid Queries with Structured
and Unstructured Constraints [10.842138336245384]
本稿では,近接グラフ(PG)に基づくネイティブハイブリッドクエリ(NHQ)フレームワークを提案する。
エッジ選択とルーティング戦略を最適化したナビゲーション可能な新しいPGを2つ提案し、既存のPGよりも全体的な性能が向上した。
論文 参考訳(メタデータ) (2022-03-25T12:02:37Z) - Knowledge Base Question Answering by Case-based Reasoning over Subgraphs [81.22050011503933]
本モデルでは,既存のKG補完アルゴリズムよりも複雑な推論パターンを必要とする問合せに対して,より効果的に答えることを示す。
提案モデルは、KBQAベンチマークの最先端モデルよりも優れているか、競合的に動作する。
論文 参考訳(メタデータ) (2022-02-22T01:34:35Z) - Learning Query Expansion over the Nearest Neighbor Graph [94.80212602202518]
グラフクエリ拡張(GQE)が提示され、教師付き方法で学習され、クエリの拡張近傍で集約を実行する。
この技術は既知のベンチマークよりも最先端の結果が得られる。
論文 参考訳(メタデータ) (2021-12-05T19:48:42Z) - Query Understanding via Intent Description Generation [75.64800976586771]
問合せ理解のためのQ2ID(Query-to-Intent-Description)タスクを提案する。
クエリとその記述を利用してドキュメントの関連性を計算する既存のランキングタスクとは異なり、Q2IDは自然言語のインテント記述を生成するための逆タスクである。
Q2IDタスクにおける複数の最先端生成モデルとの比較により,本モデルの有効性を実証する。
論文 参考訳(メタデータ) (2020-08-25T08:56:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。