論文の概要: LIRA: A Learning-based Query-aware Partition Framework for Large-scale ANN Search

• arxiv url: http://arxiv.org/abs/2503.23409v1
• Date: Sun, 30 Mar 2025 12:03:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:57.107264
• Title: LIRA: A Learning-based Query-aware Partition Framework for Large-scale ANN Search
• Title（参考訳）: LIRA:大規模ANN検索のための学習型クエリ対応パーティションフレームワーク
• Authors: Ximu Zeng, Liwei Deng, Penghao Chen, Xu Chen, Han Su, Kai Zheng,
• Abstract要約: クエリフェーズでは、クエリの距離ランクに基づいてパーティションを探索し、セントロイドをパーティションする方法が一般的である。 パーティション構築フェーズでは、すべてのパーティションベースのメソッドは、クエリの最も近い隣人を複数のパーティションに分離する境界問題に直面します。 我々はLearnIngベースのqueRy-aware pArtitionフレームワークであるLIRAを提案する。
• 参考スコア（独自算出の注目度）: 14.354312183838642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approximate nearest neighbor search is fundamental in information retrieval. Previous partition-based methods enhance search efficiency by probing partial partitions, yet they face two common issues. In the query phase, a common strategy is to probe partitions based on the distance ranks of a query to partition centroids, which inevitably probes irrelevant partitions as it ignores data distribution. In the partition construction phase, all partition-based methods face the boundary problem that separates a query's nearest neighbors to multiple partitions, resulting in a long-tailed kNN distribution and degrading the optimal nprobe (i.e., the number of probing partitions). To address this gap, we propose LIRA, a LearnIng-based queRy-aware pArtition framework. Specifically, we propose a probing model to directly probe the partitions containing the kNN of a query, which can reduce probing waste and allow for query-aware probing with nprobe individually. Moreover, we incorporate the probing model into a learning-based redundancy strategy to mitigate the adverse impact of the long-tailed kNN distribution on search efficiency. Extensive experiments on real-world vector datasets demonstrate the superiority of LIRA in the trade-off among accuracy, latency, and query fan-out. The codes are available at https://github.com/SimoneZeng/LIRA-ANN-search.
• Abstract（参考訳）: 近似近傍探索は情報検索の基本である。 分割に基づく従来の手法は部分分割を探索することで探索効率を向上させるが、2つの共通問題に直面する。 クエリフェーズでは、クエリの距離ランクに基づいてパーティションを探索してセントロイドを分割する方法が一般的であり、データ分布を無視して必然的に無関係なパーティションを探索する。 パーティション構築フェーズでは、すべてのパーティションベースのメソッドは、クエリの最も近い隣人を複数のパーティションに分離する境界問題に直面する。 このギャップに対処するため、LearnIngベースのqueRy対応pArtitionフレームワークであるLIRAを提案する。 具体的には,クエリのkNNを含むパーティションを直接探索する探索モデルを提案する。 さらに、探索モデルを学習に基づく冗長性戦略に組み込んで、長い尾を持つkNN分布が探索効率に与える影響を軽減する。 実世界のベクトルデータセットに関する大規模な実験は、精度、レイテンシ、クエリファンアウト間のトレードオフにおけるLIRAの優位性を実証している。 コードはhttps://github.com/SimoneZeng/LIRA-ANN-searchで公開されている。

関連論文リスト

• A Query-Driven Approach to Space-Efficient Range Searching [12.760453906939446]
  クエリのほぼ直線的なサンプルは、クエリ中に訪れたノード数がほぼ最適であるパーティションツリーを構築することができることを示す。 我々は、ノード処理を分類問題として扱い、浅いニューラルネットワークのような高速な分類器を活用して、実験的に効率的なクエリ時間を得ることにより、このアプローチを強化する。 我々のアルゴリズムは,クエリのサンプルに基づいて,セパレータに関連付けられたノードを持つバランスのとれたツリーを構築し,クエリの待ち行列を最小化する。
  論文  参考訳（メタデータ） (2025-02-19T12:01:00Z)
• pEBR: A Probabilistic Approach to Embedding Based Retrieval [4.8338111302871525]
  埋め込み検索は、クエリとアイテムの両方の共有セマンティック表現空間を学習することを目的としている。 現在の産業実践では、検索システムは典型的には、異なるクエリに対して一定数のアイテムを検索する。
  論文  参考訳（メタデータ） (2024-10-25T07:14:12Z)
• Approximating a RUM from Distributions on k-Slates [88.32814292632675]
  与えられた分布を平均で最もよく近似するRUMを求める一般化時間アルゴリズムを求める。 我々の理論的結果は、実世界のデータセットに効果的でスケール可能なものを得るという、実践的な結果も得られます。
  論文  参考訳（メタデータ） (2023-05-22T17:43:34Z)
• Efficient Joint-Dimensional Search with Solution Space Regularization for Real-Time Semantic Segmentation [27.94898516315886]
  この問題に対して,リアルタイムに実行可能な最適ネットワーク構造を探索する。 新たな解空間規則化(SSR)損失は、スーパーネットが離散的に収束することを効果的に促すために最初に提案される。 より高効率な探索を実現するために,新しい階層的・プログレッシブ・ソリューション・スペース・スライキング法を提案する。
  論文  参考訳（メタデータ） (2022-08-10T11:07:33Z)
• Unsupervised Space Partitioning for Nearest Neighbor Search [6.516813715425121]
  本稿では,個別の損失関数を用いて分割処理と学習段階を結合するエンドツーエンド学習フレームワークを提案する。 提案したソリューションの重要な利点は、データセットの高価な事前処理を必要としないことです。 提案手法は,最先端空間分割法とユビキタスK平均クラスタリング法に勝ることを示す。
  論文  参考訳（メタデータ） (2022-06-16T11:17:03Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• BR-NS: an Archive-less Approach to Novelty Search [70.13948372218849]
  行動認識に基づく新規性探索(BR-NS)という,新規性推定の代替手法について議論する。 BR-NSはアーカイブを必要とせず、行動空間で定義できるメトリクスを前提にせず、近隣の検索に依存しません。 我々は、その実現可能性とダイナミクス、および時間複雑性の観点からアーカイブベースのnsよりも潜在的に有利な点について洞察を得るために実験を行う。
  論文  参考訳（メタデータ） (2021-04-08T17:31:34Z)
• Partition-Guided GANs [63.980473635585234]
  私たちは、スペースを小さな領域に分割し、それぞれがよりシンプルな分布を持ち、各パーティションごとに異なるジェネレータを訓練するパーティションーを設計します。 これはラベルを必要とせずに教師なしの方法で実行される。 各種標準ベンチマーク実験の結果,提案手法が近年の手法を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-04-02T00:06:53Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• Best-First Beam Search [78.71330480725668]
  本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。 ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
  論文  参考訳（メタデータ） (2020-07-08T05:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。