論文の概要: RoarGraph: A Projected Bipartite Graph for Efficient Cross-Modal Approximate Nearest Neighbor Search
- arxiv url: http://arxiv.org/abs/2408.08933v1
- Date: Fri, 16 Aug 2024 06:48:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 23:26:14.968521
- Title: RoarGraph: A Projected Bipartite Graph for Efficient Cross-Modal Approximate Nearest Neighbor Search
- Title（参考訳）: RoarGraph: 効率的なクロスモーダル近似近傍探索のための2部グラフ
- Authors: Meng Chen, Kai Zhang, Zhenying He, Yinan Jing, X. Sean Wang,
- Abstract要約: クロスモーダルANNSは、あるモダリティからデータベクトルを使用して、他のモダリティから最も類似したアイテムを検索することを目的としている。
最先端のANNSアプローチでは、OODワークロードのパフォーマンスが低下している。
本稿では、クエリ分布のガイダンスに基づいて構築された効率的なANNSグラフインデックスであるpRojected bipartite Graph(RoarGraph)を提案する。
- 参考スコア（独自算出の注目度）: 11.069814476661827
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Approximate Nearest Neighbor Search (ANNS) is a fundamental and critical component in many applications, including recommendation systems and large language model-based applications. With the advancement of multimodal neural models, which transform data from different modalities into a shared high-dimensional space as feature vectors, cross-modal ANNS aims to use the data vector from one modality (e.g., texts) as the query to retrieve the most similar items from another (e.g., images or videos). However, there is an inherent distribution gap between embeddings from different modalities, and cross-modal queries become Out-of-Distribution (OOD) to the base data. Consequently, state-of-the-art ANNS approaches suffer poor performance for OOD workloads. In this paper, we quantitatively analyze the properties of the OOD workloads to gain an understanding of their ANNS efficiency. Unlike single-modal workloads, we reveal OOD queries spatially deviate from base data, and the k-nearest neighbors of an OOD query are distant from each other in the embedding space. The property breaks the assumptions of existing ANNS approaches and mismatches their design for efficient search. With insights from the OOD workloads, we propose pRojected bipartite Graph (RoarGraph), an efficient ANNS graph index built under the guidance of query distribution. Extensive experiments show that RoarGraph significantly outperforms state-of-the-art approaches on modern cross-modal datasets, achieving up to 3.56x faster search speed at a 90% recall rate for OOD queries.
- Abstract（参考訳）: Approximate Nearest Neighbor Search (ANNS)は、レコメンデーションシステムや大規模言語モデルベースのアプリケーションを含む、多くのアプリケーションにおいて、基本的で重要なコンポーネントである。
異なるモダリティから共有された高次元空間に特徴ベクトルとして変換するマルチモーダルニューラルネットワークの進歩により、クロスモーダルANNSは、あるモダリティ(例えばテキスト)からデータベクトルをクエリとして使用して、最も類似したアイテム(例えば、画像やビデオ)を検索する。
しかし、異なるモダリティからの埋め込みの間には固有の分布ギャップがあり、クロスモーダルクエリはベースデータへのアウト・オブ・ディストリビューション(OOD)となる。
その結果、最先端のANNSアプローチでは、OODワークロードのパフォーマンスが低下する。
本稿では,OODワークロードの特性を定量的に分析し,そのANNS効率について理解する。
単一モードのワークロードとは異なり、OODクエリはベースデータから空間的に逸脱し、OODクエリのk-nearest隣人は埋め込み空間では互いに離れている。
この性質は既存のANNSアプローチの仮定を破り、効率的な探索のために設計をミスマッチさせる。
OODワークロードからの洞察を得て、クエリ分散のガイダンスに基づいて構築された効率的なANNSグラフインデックスであるpRojected bipartite Graph (RoarGraph)を提案する。
大規模な実験により、RoarGraphは最新のクロスモーダルデータセットに対する最先端のアプローチを大幅に上回り、OODクエリの90%のリコールレートで最大3.56倍の高速化を実現している。
関連論文リスト
- ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。
ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
論文 参考訳（メタデータ） (2024-06-25T12:47:04Z) - Efficient Causal Graph Discovery Using Large Language Models [42.724534747353665]
提案するフレームワークはBFS (Broadth-first Search) アプローチを用いており,クエリの線形数のみを使用することができる。
提案フレームワークは,時間とデータ効率の向上に加えて,様々なサイズの実世界の因果グラフに対して,最先端の結果を達成している。
論文 参考訳（メタデータ） (2024-02-02T08:25:32Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - OOD-DiskANN: Efficient and Scalable Graph ANNS for Out-of-Distribution
Queries [8.950168559003993]
Approximate Nearest Neighbor Search (ANNS)の最先端アルゴリズムは、インデックスデータ分布にオーバーフィットすることで、データに依存したインデックスを構築する。
OOD-DiskANNはOODクエリのスペーリングサンプル(インデックスセットサイズの1%)を使用し、同じメモリフットプリントのSoTAアルゴリズムに対して、平均クエリレイテンシを最大40%改善する。
論文 参考訳（メタデータ） (2022-10-22T21:22:50Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - Arch-Graph: Acyclic Architecture Relation Predictor for
Task-Transferable Neural Architecture Search [96.31315520244605]
Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。
Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。
わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
論文 参考訳（メタデータ） (2022-04-12T16:46:06Z) - Approximate Nearest Neighbor Search under Neural Similarity Metric for
Large-Scale Recommendation [20.42993976179691]
本稿では,任意のマッチング関数にANN探索を拡張する新しい手法を提案する。
我々の主な考えは、すべての項目から構築された類似性グラフに一致する関数で、欲張りのウォークを実行することである。
提案手法は,Taobaoのディスプレイ広告プラットフォームに完全に展開されており,広告収入の大幅な増加をもたらす。
論文 参考訳（メタデータ） (2022-02-14T07:55:57Z) - ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。
この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。
特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文 参考訳（メタデータ） (2021-10-10T09:35:15Z) - Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。
この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。
本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
論文 参考訳（メタデータ） (2021-09-01T07:01:33Z) - NASE: Learning Knowledge Graph Embedding for Link Prediction via Neural
Architecture Search [9.634626241415916]
リンク予測は、知識グラフ(KG)におけるエンティティ間の欠落した接続を予測するタスクである
これまでの研究では、Automated Machine Learning(AutoML)を使用して、データセットに最適なモデルを探していた。
リンク予測タスクのための新しいニューラルネットワーク探索(NAS)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-08-18T03:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。