論文の概要: ASH: Asymmetric Scalar Hashing With Learned Dimensionality Reduction for High-Fidelity Vector Quantization
- arxiv url: http://arxiv.org/abs/2606.07870v1
- Date: Fri, 05 Jun 2026 22:01:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:05.49651
- Title: ASH: Asymmetric Scalar Hashing With Learned Dimensionality Reduction for High-Fidelity Vector Quantization
- Title(参考訳): ASH:高忠実度ベクトル量子化のための学習次元化による非対称スカラーハッシュ
- Authors: Mariano Tepper, Theodore Willke,
- Abstract要約: ASHはデータ駆動のエンコーダ・デコーダフレームワークであり、学習された正規直交射影を通じてデータベースベクトルに次元性還元を適用する。
ASHには短い学習時間とエンコーディング時間があり、現実世界のデプロイメントには魅力的です。
- 参考スコア(独自算出の注目度): 1.4323566945483497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For a long time, additive quantizers, such as product quantization, have been considered the gold standard in terms of accuracy and efficiency. Recently, scalar quantization has re-emerged from the depths of history with a new wave of data-agnostic techniques. Inscribed in this general framework, we turn our attention to data-driven methods, showing that new highs in recall and speed can be achieved by reducing the number of dimensions while increasing the bitrate per dimension. Critically, this dimensionality reduction needs to be learned from data to be successful. We present ASH (Asymmetric Scalar Hashing), a data-driven encoder-decoder framework that applies dimensionality reduction to database vectors via a learned orthonormal projection, followed by scalar quantization, while keeping queries in their original form. This asymmetric design enables higher accuracy than the best additive and scalar quantizers at iso-compression, while admitting highly efficient similarity computations via SIMD operations. ASH has short learning and encoding times, making it attractive for real-world deployment. Extensive experiments on a variety of datasets demonstrate that ASH achieves state-of-the-art ANN recall and speeds across all compression regimes.
- Abstract(参考訳): 製品量化のような添加量化器は、長い間、正確性と効率の点で金の標準とみなされてきた。
近年,スカラー量子化は歴史の深さから新たなデータに依存しない手法によって再燃している。
本稿では,データ駆動方式に注意を向け,次元あたりのビットレートを増大させながら,次元数を減らすことで,リコールと速度の新たな高みを実現できることを示す。
批判的に言えば、この次元削減は成功するためにデータから学ぶ必要がある。
本稿では,データ駆動型エンコーダデコーダフレームワークであるASH(Asymmetric Scalar Hashing)について述べる。
この非対称設計は、SIMD演算による高効率な類似性計算を認めながら、イソ圧縮時の最良の加算量およびスカラー量子化器よりも高い精度を実現する。
ASHには短い学習時間とエンコーディング時間があり、現実世界のデプロイメントには魅力的です。
さまざまなデータセットに関する大規模な実験は、ASHが最先端のANNリコールと、すべての圧縮レギュレーションの速度を達成することを実証している。
関連論文リスト
- No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。
ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
論文 参考訳(メタデータ) (2026-05-28T15:53:34Z) - DASH-KV: Accelerating Long-Context LLM Inference via Asymmetric KV Cache Hashing [30.82607063015274]
DASH-KVは,非対称な深層ハッシュによる近接探索として注目を再構築する,革新的なアクセラレーションフレームワークである。
LongBenchの実験では、DASH-KVは、O(N2) から線形 O(N) への推論複雑性を低減しつつ、全注目性能を一致させながら、最先端のベースライン法を著しく上回ることを示した。
論文 参考訳(メタデータ) (2026-04-21T11:33:24Z) - Memory-Augmented Hybrid Quantum Reservoir Computing [0.0]
本稿では、量子計測の古典的後処理を通じてメモリを実装するハイブリッド量子古典的アプローチを提案する。
我々は、完全に連結されたIsingモデルとRydberg原子配列の2つの物理プラットフォーム上でモデルをテストした。
論文 参考訳(メタデータ) (2024-09-15T22:44:09Z) - Enhancing the performance of Variational Quantum Classifiers with hybrid autoencoders [0.0]
本稿では,特定の量子埋め込みを考慮し,与えられたデータセットの次元性を低減する方法を提案する。
この方法は、VQCを用いた量子機械学習をより汎用的で高次元のデータセットに効果的にすることを目的としている。
論文 参考訳(メタデータ) (2024-09-05T08:51:20Z) - Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。
既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。
テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
論文 参考訳(メタデータ) (2024-05-21T08:35:10Z) - On Fast Simulation of Dynamical System with Neural Vector Enhanced
Numerical Solver [59.13397937903832]
ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。
NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。
様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
論文 参考訳(メタデータ) (2022-08-07T09:02:18Z) - REx: Data-Free Residual Quantization Error Expansion [32.87131159997359]
ディープニューラルネットワーク(DNN)はコンピュータビジョンや自然言語処理においてユビキタスであるが、高い推論コストに悩まされている。
プライバシの権利に関する懸念が高まる中、私たちはデータフリーな方法に注力しています。
本稿では,残差展開とグループ間隔,アンサンブル近似を併用した並列化手法RExを提案する。
論文 参考訳(メタデータ) (2022-03-28T11:04:45Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳(メタデータ) (2021-08-23T21:03:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。