論文の概要: IVF-TQ: Calibration-Free Streaming Vector Search via a Codebook-Free Residual Layer
- arxiv url: http://arxiv.org/abs/2605.17415v2
- Date: Fri, 22 May 2026 14:31:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:19.985494
- Title: IVF-TQ: Calibration-Free Streaming Vector Search via a Codebook-Free Residual Layer
- Title(参考訳): IVF-TQ: Codebook-Free Residual Layer によるキャリブレーションフリーなストリームベクトル探索
- Abstract要約: IVF-TQは、残差圧縮層がデータに依存しない逆ファイルインデックスである。
球面内積誤差は (b, d, delta) にのみ依存し、学習コードブック法が許容しない構造的保証を与える。
- 参考スコア(独自算出の注目度): 3.0458514384586404
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Approximate nearest neighbor (ANN) indexes deployed against streaming corpora silently lose recall over weeks. The standard diagnosis is distribution shift, but under shuffled-i.i.d. ingestion -- no shift at all -- product quantization still degrades -3.8pp at sub-matched bit budgets. The dominant production compression methods (PQ, OPQ, ScaNN) all fit a codebook to an initial sample and reuse it as the database grows by orders of magnitude. This paper presents IVF-TQ, an inverted-file index whose residual compression layer is data-independent: a fixed random rotation followed by a precomputed Lloyd-Max scalar quantizer parameterised only by the bit width b and dimension d. Only the IVF coarse k-means partition is trained. A uniform-over-sphere inner-product error bound depending only on (b, d, delta) provides a structural guarantee no learned-codebook method admits. The same codebook-free design enables an IVF-amplification effect that closes the gap to Extended RaBitQ to within statistical noise (+17.7pp over flat TQ at matched bit budget), and an Adaptive variant that refreshes the partition without touching the compression layer. Across nine controlled cells (three 10M datasets, three PQ memory regimes, three seeds), per-batch PQ codebook retraining never recovers the streaming gap; IVF-PQ streaming stability requires per-dataset bit-budget tuning, while IVF-TQ holds at one fixed (b, d) configuration on all three datasets with Delta in [-0.80, +0.56]pp. The contribution is operational: no codebook to train, no per-dataset bit-budget tuning, no retraining cycle that ever closes the gap.
- Abstract(参考訳): ストリーミングコーパスに対してデプロイされた近似近傍インデックス(ANN)は、数週間にわたって静かにリコールを失う。
標準的な診断は、分布シフトであるが、シャッフル(すなわち、全くシフトしない)の摂取の下では、製品量子化は、サブマッチングビット予算でまだ-3.8pp が低下している。
主な生産圧縮手法(PQ、OPQ、ScaNN)は、コードブックを初期サンプルに適合させ、データベースが桁違いに大きくなるにつれて再利用する。
本稿では,残差圧縮層がデータ非依存である逆ファイル指数IVF-TQについて述べる。
IVFの粗いk平均分割のみが訓練される。
球面内積誤差は (b, d, delta) にのみ依存し、学習コードブック法が許容しない構造的保証を与える。
同じコードブックフリーな設計では、拡張RaBitQとのギャップを統計的ノイズ(一致したビット予算でフラットTQに+17.7pp)で埋めるIVF増幅効果と、圧縮層に触れることなくパーティションを更新するAdaptive variantが可能である。
9つの制御されたセル(3つの10Mデータセット、3つのPQメモリレジーム、3つのシード)、バッチごとのPQコードブックの再トレーニングはストリーミングギャップを回復しない。
トレーニングするコードブックも、データセットごとのビット予算チューニングも、ギャップを埋めるリトレーニングサイクルも、ありません。
関連論文リスト
- Data Diversity, Not Frequency Invariance: A Controlled and Self-Audited Study of Compression-Robust Deepfake Detection [0.26856688022781555]
周波数特徴と圧縮不変表現学習は、ビデオ圧縮に耐えるディープフェイク検出の鍵であると広く考えられている。
本稿では, CAFRL - block-DCT および FFT-phase ストリーム, 圧縮レベル条件付き帯域アテンション, 逆(逆)圧縮でこれを検証する。
キャパシティと拡張整合制御を備えた事前登録されたプロトコルの下では、マルチ品質データに対するプレーンなEfficientNet-B0が、各圧縮レベルで指定されたCAFRLを上回った。
論文 参考訳(メタデータ) (2026-08-26T12:05:10Z) - GVCCTurbo: Rate-Compute Quality Scheduling for Codebook Driven Generative Compression [1.9424280683610136]
コードブック駆動の生成圧縮は、事前訓練された画像またはビデオジェネレータをゼロショットの視覚的先行として使用する。
本稿では,BPP方式のスケジューラであるGVCCTurboを提案する。
720p Wan-GVCCの研究では、スケジューラが20から9までの事前評価を$sim!44%の短縮時間短縮で削減する。
論文 参考訳(メタデータ) (2026-08-04T11:59:17Z) - Decoder-Preserving Sparse Autoencoders: Which Readouts Survive Sparse Compression? [0.0]
我々は,この曖昧さを最適リッジ予測演算子と列車復号器保存SAE間の行列値歪みとして定式化する。
制御されたスパース実験は、宣言された事前がタスクサブスペースから保持された組み合わせを保護していることを示している。
これらの結果から,どのリフィットされたリニアリードアウトがスパース圧縮に耐えるかは,再構成品質が決定できないことが示唆された。
論文 参考訳(メタデータ) (2026-07-19T22:19:17Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳(メタデータ) (2026-07-08T05:48:57Z) - OCTOPUS: Optimized KV Cache for Transformers via Octahedral Parametrization Under optimal Squared error quantization [13.284869342523095]
キー値(KV)は自己回帰推論におけるメモリ帯域幅とフットプリントを支配している。
最近の回転プリコンディショニングコーデック(TurboQuant, PolarQuant)は、KV圧縮のほぼ最適レシピである。
OCTOPUSはこのパラダイムを回転座標三重項の結合量子化によって前進させる。
論文 参考訳(メタデータ) (2026-05-20T14:19:51Z) - Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。
本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。
実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
論文 参考訳(メタデータ) (2026-05-16T07:50:13Z) - Continuous First, Discrete Later: VQ-VAEs Without Dimensional Collapse [63.31488859236551]
我々は、次元の崩壊が様々なコードブック改善技術が上回らないようなハードロスの低い境界を生じることを理論的かつ実証的に示す。
本稿では,VQを導入する前に,不適切な自動エンコーダとしてモデルを訓練する「ウォームアップフェーズ」を提案する。
合成実験と大規模画像 (VQGAN) とオーディオ (WavTokenizer) VQ-VAEs の両方において, AE Warm-Up が表現次元の復元に成功したことを示す。
論文 参考訳(メタデータ) (2026-05-07T19:13:20Z) - Quantum Kernel Advantage over Classical Collapse in Medical Foundation Model Embeddings [5.903606299014097]
MIMIC-C胸部X線写真における2次保険分類におけるノイズレスシミュレーションによる量子優位性の証拠を提供する。
両分類器が同一の機能を持つ2層公正比較フレームワークを提案する。
固有解析により、量子核有効ランクは q = 11 で 69.80 に達する。
論文 参考訳(メタデータ) (2026-04-27T15:21:53Z) - A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。
逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。
本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
論文 参考訳(メタデータ) (2026-04-25T17:38:51Z) - Differentiable Vector Quantization for Rate-Distortion Optimization of Generative Image Compression [53.041405703471895]
低ビットレート画像圧縮のためのエンドツーエンドRD最適化を実現する統一フレームワークRDVQを提案する。
我々は,正確なエントロピーモデリングとテスト時間率制御をサポートする自己回帰エントロピーモデルを開発した。
RD2K-valと比較すると、RDVQは DisTSで75.71%、DIV2K-valでLPIPSで37.63%減少する。
論文 参考訳(メタデータ) (2026-04-12T09:25:24Z) - Detecting Neurovascular Instability from Multimodal Physiological Signals Using Wearable-Compatible Edge AI: A Responsible Computational Framework [0.0]
ウェアラブル互換の生理信号から神経血管不安定性(NVI)を検出するためのマルチモーダルMLフレームワークであるMeraguardを提案する。
毎年1220万回のインシデントストロークで、連続したマルチモーダルな生理的モニタリングは、コミュニティスケールのスクリーニングへの実践的なパスを提供する。
論文 参考訳(メタデータ) (2026-03-20T19:17:46Z) - Beyond Stationarity: Rethinking Codebook Collapse in Vector Quantization [12.305907179979426]
エンコーダがドリフトすると、未選択のコードベクトルは更新を受け取れなくなり、徐々に非アクティブになる。
そこで我々は,NSVQ(Non-Stationary Vector Quantization)とTransformer-based Vector Quantization(TransVQ)の2つの新しい手法を提案する。
CelebA-HQデータセットの実験では、どちらの手法もほぼ完全なコードブックの利用と再現性の向上を実現している。
論文 参考訳(メタデータ) (2026-02-21T16:36:50Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳(メタデータ) (2026-02-04T02:54:37Z) - POVQA: Preference-Optimized Video Question Answering with Rationales for Data Efficiency [3.4998703934432682]
近年,VQAタスクには1500以上のフレームのコンテキストウィンドウが設けられている。
データ効率のよいパイプラインであるPOVQAを導入し、ビデオの各秒を1つの時間プール画像に圧縮する。
論文 参考訳(メタデータ) (2025-10-01T15:15:36Z) - Generalizable Diabetes Risk Stratification via Hybrid Machine Learning Models [0.0]
糖尿病は世界中で5億3700万人を超え、2045年までに7億8300万人に達すると予測されている。
2つのハイブリッド分類器を比較し、外部コホート上での一般化性を評価する。
論文 参考訳(メタデータ) (2025-09-24T21:18:52Z) - Scalable Training for Vector-Quantized Networks with 100% Codebook Utilization [60.294965457786844]
ベクトル量子化(VQ)は、画像生成のための離散トークン化器において重要な要素である。
VQBridgeは、地図関数法に基づく堅牢でスケーラブルで効率的なプロジェクタである。
FVQは262kのコードブックでも100%のコードブック利用が可能である。
論文 参考訳(メタデータ) (2025-09-12T11:08:21Z) - Quantize-then-Rectify: Efficient VQ-VAE Training [71.92014859992263]
この研究は、VAEの許容しきい値内の量子化ノイズによって、事前訓練されたVAEをVQ-VAEに効率的に変換できることを実証する。
我々は、事前学習されたVAEを利用して、最小計算オーバーヘッドで高速なVQ-VAEトレーニングを可能にするフレームワークである textbfQuantize-then-Rectify (ReVQ) を提案する。
論文 参考訳(メタデータ) (2025-07-14T17:59:41Z) - FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。
ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
論文 参考訳(メタデータ) (2025-06-13T07:57:38Z) - Future frame prediction in chest cine MR imaging using the PCA respiratory motion model and dynamically trained recurrent neural networks [0.0]
肺放射線治療システムは、推定腫瘍位置の不確実性や健康な組織の高照射を引き起こす遅延を受ける。
この研究は、オンライン学習アルゴリズムで訓練されたRNNを用いて、胸部ダイナミックMRIシーケンスの将来のフレーム予測に対処し、その遅延を補償する。
論文 参考訳(メタデータ) (2024-10-08T10:21:43Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳(メタデータ) (2024-10-04T03:10:53Z) - HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
一般的な解決策は、VQ変分オートエンコーダ(VQVAE)にベクトル量子化(VQ)を採用することである。
本稿では,双曲型多相ロジスティック回帰(MLR)問題としてVQを定式化する新しい手法であるHyperVQを紹介する。
本実験は,HyperVQが従来のVQに比較し,識別性能を上回りながら,生成・再構成タスクに適合することを示した。
論文 参考訳(メタデータ) (2024-03-18T03:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。