論文の概要: AdANNS: A Framework for Adaptive Semantic Search

• arxiv url: http://arxiv.org/abs/2305.19435v1
• Date: Tue, 30 May 2023 22:05:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 19:28:35.004342
• Title: AdANNS: A Framework for Adaptive Semantic Search
• Title（参考訳）: AdANNS: アダプティブセマンティック検索のためのフレームワーク
• Authors: Aniket Rege, Aditya Kusupati, Sharan Ranjit S, Alan Fan, Qingqing Cao, Sham Kakade, Prateek Jain, Ali Farhadi
• Abstract要約: Webスケールの検索システムは、エンコーダを学習し、与えられたクエリを埋め込む。 テールクエリとデータポイントを正確にキャプチャするために、学習された表現は通常、厳密で高次元のベクトルである。 本稿では,Matryoshka Representationsの柔軟性を明確に活用する新しいANNS設計フレームワークであるAdANNSを紹介する。
• 参考スコア（独自算出の注目度）: 37.013614183622394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Web-scale search systems learn an encoder to embed a given query which is then hooked into an approximate nearest neighbor search (ANNS) pipeline to retrieve similar data points. To accurately capture tail queries and data points, learned representations typically are rigid, high-dimensional vectors that are generally used as-is in the entire ANNS pipeline and can lead to computationally expensive retrieval. In this paper, we argue that instead of rigid representations, different stages of ANNS can leverage adaptive representations of varying capacities to achieve significantly better accuracy-compute trade-offs, i.e., stages of ANNS that can get away with more approximate computation should use a lower-capacity representation of the same data point. To this end, we introduce AdANNS, a novel ANNS design framework that explicitly leverages the flexibility of Matryoshka Representations. We demonstrate state-of-the-art accuracy-compute trade-offs using novel AdANNS-based key ANNS building blocks like search data structures (AdANNS-IVF) and quantization (AdANNS-OPQ). For example on ImageNet retrieval, AdANNS-IVF is up to 1.5% more accurate than the rigid representations-based IVF at the same compute budget; and matches accuracy while being up to 90x faster in wall-clock time. For Natural Questions, 32-byte AdANNS-OPQ matches the accuracy of the 64-byte OPQ baseline constructed using rigid representations -- same accuracy at half the cost! We further show that the gains from AdANNS translate to modern-day composite ANNS indices that combine search structures and quantization. Finally, we demonstrate that AdANNS can enable inference-time adaptivity for compute-aware search on ANNS indices built non-adaptively on matryoshka representations. Code is open-sourced at https://github.com/RAIVNLab/AdANNS.
• Abstract（参考訳）: webスケールの検索システムはエンコーダを学習し、与えられたクエリを埋め込み、近似的な近接探索(anns)パイプラインに接続して類似のデータポイントを取得する。 尾のクエリとデータポイントを正確にキャプチャするために、学習された表現は、典型的には剛体で高次元のベクトルであり、ANNSパイプライン全体において一般的に用いられる。 本稿では, 剛性表現の代わりに, 可変容量の適応表現を活用することで, 高精度かつ高精度なトレードオフを実現することができること, すなわち, より近似的な計算で得られるANNSの段階は, 同一データ点の低容量表現を用いるべきであること, を論じる。 そこで我々は,Matryoshka Representationsの柔軟性を明示的に活用する新しいANNS設計フレームワークであるAdANNSを紹介する。 本稿では,検索データ構造(AdANNS-IVF)や量子化(AdANNS-OPQ)などの新しいANNSビルディングブロックを用いて,最先端の精度計算トレードオフを示す。 例えば、ImageNet検索では、AdANNS-IVFは同じ計算予算で厳密な表現ベースのIVFよりも最大1.5%正確であり、壁時計時間では最大90倍高速である。 自然問題の場合、32バイトのadanns-opqは、厳格な表現を使って構築された64バイトのopqベースラインの精度と一致します。 さらに,検索構造と量子化を組み合わせた現代の複合 ann インデックスへのアダンからの利得も示している。 最後に, 行列化表現を非適応的に構築したANNSインデックス上での計算認識検索において, AdANNSが推論時適応性を実現することを実証した。 コードはhttps://github.com/RAIVNLab/AdANNSで公開されている。

関連論文リスト

• Building Interpretable and Reliable Open Information Retriever for New Domains Overnight [67.03842581848299]
  情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。 本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。 より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-09T07:47:17Z)
• GAAF: Searching Activation Functions for Binary Neural Networks through Genetic Algorithm [15.403807679886716]
  バイナリニューラルネットワーク(BNN)は、エッジデバイスやモバイルシステムのような、コストと電力制限のある領域で有望な利用を示している。 本稿では,サインベースバイナライゼーションに先立って補完活性化関数 (AF) を付加し,遺伝的アルゴリズム (GA) に頼って理想的なAFを自動検索することを提案する。
  論文  参考訳（メタデータ） (2022-06-05T06:36:22Z)
• Sketches image analysis: Web image search engine usingLSH index and DNN InceptionV3 [0.0]
  ディープ機能で高速な類似度検索を可能にするために、Locality Sensitive Hashing(LSH) Index上にWebイメージ検索エンジンを実装します。 画像からの深い特徴抽出に転送学習を利用する。
  論文  参考訳（メタデータ） (2021-05-03T20:01:54Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• Inception Convolution with Efficient Dilation Search [121.41030859447487]
  拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。 そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。 本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
  論文  参考訳（メタデータ） (2020-12-25T14:58:35Z)
• Efficient Sampling for Predictor-Based Neural Architecture Search [3.287802528135173]
  ニューラルネットワーク探索のための予測器に基づくNASアルゴリズムについて検討する。 探索空間のサブセットに対してのみプロキシが計算されると,予測アルゴリズムのサンプル効率が劇的に低下することを示す。 これは、実際に予測器ベースのNASアルゴリズムを有用にするための重要なステップである。
  論文  参考訳（メタデータ） (2020-11-24T11:36:36Z)
• SPARTA: Efficient Open-Domain Question Answering via Sparse Transformer Matching Retrieval [24.77260903221371]
  SPARTAは,オープンドメイン質問応答の性能,一般化,解釈可能性を示す新しいニューラル検索手法である。 SPARTAはインバージョンインデックスとして効率的に実装可能なスパース表現を学習する。 我々は4つのオープンドメイン質問応答(OpenQA)タスクと11の検索質問応答(ReQA)タスクに対するアプローチを検証した。
  論文  参考訳（メタデータ） (2020-09-28T02:11:02Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• Localized convolutional neural networks for geospatial wind forecasting [0.0]
  畳み込みニューラルネットワーク(CNN)は多くの空間データに関して正の特性を有する。 本研究では,CNNがグローバルな特徴に加えて,局所的な特徴を学習することのできる局所畳み込みニューラルネットワークを提案する。 どのような畳み込みレイヤにも追加可能で、簡単にエンドツーエンドのトレーニングが可能で、最小限の複雑さを導入でき、CNNは必要な範囲でそのメリットの大部分を維持できる。
  論文  参考訳（メタデータ） (2020-05-12T17:14:49Z)
• Real-Time High-Performance Semantic Image Segmentation of Urban Street Scenes [98.65457534223539]
  都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。 提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
  論文  参考訳（メタデータ） (2020-03-11T08:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。