論文の概要: Qinco2: Vector Compression and Search with Improved Implicit Neural Codebooks

• arxiv url: http://arxiv.org/abs/2501.03078v1
• Date: Mon, 06 Jan 2025 15:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:06:29.682366
• Title: Qinco2: Vector Compression and Search with Improved Implicit Neural Codebooks
• Title（参考訳）: Qinco2: 命令型ニューラルコードブックの改良によるベクトル圧縮と検索
• Authors: Théophane Vallaeys, Matthew Muckley, Jakob Verbeek, Matthijs Douze,
• Abstract要約: QINCo2は,BigANNの16バイトベクトル圧縮では34%,Deep1Mでは8バイトエンコーディングでは24%の検索精度向上を実現している。 ベクトル圧縮のためのQINCo2と、数十億近い近接探索のための4つのデータセットの実験を行った。
• 参考スコア（独自算出の注目度）: 23.598010051403225
• License:
• Abstract: Vector quantization is a fundamental technique for compression and large-scale nearest neighbor search. For high-accuracy operating points, multi-codebook quantization associates data vectors with one element from each of multiple codebooks. An example is residual quantization (RQ), which iteratively quantizes the residual error of previous steps. Dependencies between the different parts of the code are, however, ignored in RQ, which leads to suboptimal rate-distortion performance. QINCo recently addressed this inefficiency by using a neural network to determine the quantization codebook in RQ based on the vector reconstruction from previous steps. In this paper we introduce QINCo2 which extends and improves QINCo with (i) improved vector encoding using codeword pre-selection and beam-search, (ii) a fast approximate decoder leveraging codeword pairs to establish accurate short-lists for search, and (iii) an optimized training procedure and network architecture. We conduct experiments on four datasets to evaluate QINCo2 for vector compression and billion-scale nearest neighbor search. We obtain outstanding results in both settings, improving the state-of-the-art reconstruction MSE by 34% for 16-byte vector compression on BigANN, and search accuracy by 24% with 8-byte encodings on Deep1M.
• Abstract（参考訳）: ベクトル量子化は、圧縮と大規模近接探索の基本的な技術である。 高精度な演算点に対して、マルチコードブック量子化は、複数のコードブックの各要素からのデータベクトルを1つの要素に関連付ける。 例えば、残差量子化(RQ)は、前のステップの残差を反復的に定量化する。 しかし、コードの異なる部分間の依存関係は、RQでは無視されるため、最適速度歪みのパフォーマンスが低下する。 QINCoは先日、前ステップからのベクトル再構成に基づいて、ニューラルネットワークを使用してRQの量子化コードブックを決定することで、この非効率性に対処した。 本稿では,QINCoを拡張・改善するQINCo2を紹介する。 (i)コードワード前選択とビーム検索によるベクター符号化の改善 (二)コードワードペアを利用した高速近似デコーダにより、検索のための正確なショートリストを確立すること。 (iii) 最適化されたトレーニング手順とネットワークアーキテクチャ。 ベクトル圧縮のためのQINCo2と、数十億近い近接探索のための4つのデータセットの実験を行った。 いずれの設定においても優れた結果が得られ,BigANNの16バイトベクトル圧縮では34%,Deep1Mの8バイト符号化では24%の検索精度が得られた。

関連論文リスト

• Quantum-enhanced belief propagation for LDPC decoding [0.0]
  本稿では,信仰伝播の事前処理ステップとして機能する量子強調的信念伝播アルゴリズムを紹介する。 本研究は,症候群とコード長の相違パラメータを共用する可能性について検討する。
  論文  参考訳（メタデータ） (2024-12-11T18:14:18Z)
• Residual Quantization with Implicit Neural Codebooks [40.021284158234344]
  本稿では,前ステップからのベクトル近似に依存する,ステップ毎の特別なコードブックを構築するニューラルネットワークRQ変種QINCoを提案する。 実験によると、QINCoはいくつかのデータセットとコードサイズに対して、最先端のメソッドよりも大きなマージンでパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-01-26T09:42:51Z)
• Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization [40.1651740183975]
  ベクトル量子化(VQ)の直接代用として,ソフト凸量子化(SCQ)を提案する。 SCQは微分凸最適化(DCO)層のように機能する。 CIFAR-10, GTSRB, LSUNデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2023-10-04T17:45:14Z)
• Mixed-Precision Quantization with Cross-Layer Dependencies [6.338965603383983]
  混合精度量子化(MPQ)は、様々なビット幅を層に割り当て、精度と効率のトレードオフを最適化する。 既存の手法は、異なる層における量子化誤差が独立に作用すると仮定することでMPQ問題を単純化する。 この仮定は、量子化された深層ニューラルネットワークの真の振舞いを反映していないことを示す。
  論文  参考訳（メタデータ） (2023-07-11T15:56:00Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Rapid Person Re-Identification via Sub-space Consistency Regularization [51.76876061721556]
  Person Re-Identification (ReID) は、歩行者を分離したカメラで識別する。 実値特徴記述子を用いた既存のReID法は精度が高いが、ユークリッド距離計算が遅いため効率が低い。 本稿では,ReID 処理を 0.25 倍高速化するサブスペース一貫性規則化 (SCR) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-13T02:44:05Z)
• Nearest neighbor search with compact codes: A decoder perspective [77.60612610421101]
  バイナリハッシュや製品量化器などの一般的な手法を自動エンコーダとして再解釈する。 後方互換性のあるデコーダを設計し、同じ符号からベクトルの再構成を改善する。
  論文  参考訳（メタデータ） (2021-12-17T15:22:28Z)
• OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
  混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。 本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。 このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
  論文  参考訳（メタデータ） (2021-09-16T10:59:33Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
  本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
  論文  参考訳（メタデータ） (2020-06-15T16:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。