論文の概要: Revisiting RaBitQ and TurboQuant: A Symmetric Comparison of Methods, Theory, and Experiments
- arxiv url: http://arxiv.org/abs/2604.19528v2
- Date: Thu, 30 Apr 2026 16:42:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 14:06:12.529084
- Title: Revisiting RaBitQ and TurboQuant: A Symmetric Comparison of Methods, Theory, and Experiments
- Title(参考訳): RaBitQとTurboQuantの再検討:方法,理論,実験の対称性の比較
- Abstract要約: 統一比較フレームワークの下で、RaBitQとTurboQuantの関係を再考する。
方法論,理論的保証,経験的性能の2つの手法を比較した。
- 参考スコア(独自算出の注目度): 20.521841176278826
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This technical note revisits the relationship between RaBitQ and TurboQuant under a unified comparison framework. We compare the two methods in terms of methodology, theoretical guarantees, and empirical performance, using a reproducible, transparent, and symmetric setup. Our results show that, despite the claimed advantage of TurboQuant, TurboQuant performs worse than RaBitQ in most tested settings of inner-product estimation, nearest-neighbor search and KV cache quantization. We further find that several reported runtime and recall results in the TurboQuant paper could not be reproduced from the released implementation under the stated configuration. Overall, this note clarifies the shared structure and genuine differences between the two lines of work, while documenting reproducibility issues in the experimental results reported by the TurboQuant paper.
- Abstract(参考訳): この技術的注記は、統一された比較フレームワークの下で、RaBitQとTurboQuantの関係を再考する。
再現性,透過性,対称的な構成を用いて,方法論,理論的保証,経験的性能の両手法を比較した。
以上の結果から,TurboQuantは内部積推定,最近傍探索,KVキャッシュ量子化といったテスト環境において,RaBitQよりも性能が劣ることがわかった。
さらに、TurboQuantの論文で報告されたランタイムとリコールの結果が、前述の構成の下でリリースされた実装から再現できないこともわかりました。
このノートは,TurboQuant論文で報告された実験結果の再現性問題を文書化しながら,2つの作業行間の共有構造と真の相違を明らかにした。
関連論文リスト
- Comparing the Performance of Leading VQE Algorithms for Computing Ground-State Energies of Amino Acids [0.0]
論文から10以上の異なるアンサーゼの再現可能なベンチマークを備えた統合リポジトリを提案する。
QMProtデータセットから得られたハミルトニアンを用いて、異なるアミノ酸をシミュレートする。
論文 参考訳(メタデータ) (2026-07-02T06:38:31Z) - Ablation, Statistical Inference, and Validation for KV-Cache Compression [0.0]
本研究では,Turbo-QuantとSpectralQuant KV-cacheの圧縮を系統的に比較し,非支配的スキームの評価を行った。
鍵となる発見は、固有基底法は共分散不安定により重み付きデータでは失敗するが、構造的レシエーションでは優れることを示している。
論文 参考訳(メタデータ) (2026-06-14T22:44:55Z) - Block-Sphere Vector Quantization [35.41703011973504]
ベクトル量子化はスケーラブルな機械学習システムにとって基本的なプリミティブである。
最近の回転型量子化器は強い保証と経験的性能を導入している。
回転型ブロック量子化アルゴリズムであるブロック-球量子化(BlockQuant)を導入する。
論文 参考訳(メタデータ) (2026-05-19T15:18:56Z) - Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees [68.04613115686509]
自己整合性は、複数の推論トレースを並列にサンプリングし、投票することで、推論時間のパフォーマンスを向上させる。
そこで本研究では,切り落された標本を伐採木として扱う決定論的復号法であるDLE(Distinct Leafion)を提案する。
DLEは高品質な推論トレースを調査し、数学、コーディング、一般的な推論タスクのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2026-04-22T12:42:03Z) - Compile to Compress: Boosting Formal Theorem Provers by Compiler Outputs [48.390500145598544]
大型言語モデル (LLM) は形式定理の証明において大きな可能性を証明している。
我々は形式的検証において情報的構造を利用する: コンパイラが多様な証明の試みの広大な空間をマッピングする観察である。
我々は,この圧縮を利用して効率的な学習と証明探索を行う,学習と再定義のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-13T01:33:20Z) - Rate-Distortion Optimization for Transformer Inference [1.5378391391800512]
トランスフォーマーは多くのタスクにおいて優れたパフォーマンスを達成するが、推論中に大量の計算とメモリ要求を課す。
本稿では, 圧縮の損失を抑えるために, 圧縮の速度歪みに基づく基本的フレームワークを導入し, 圧縮の精度とトレードオフを明示するコンパクトエンコーディングを学習する。
論文 参考訳(メタデータ) (2026-01-29T17:12:46Z) - Diffusion Bridge or Flow Matching? A Unifying Framework and Comparative Analysis [57.614436689939986]
拡散ブリッジとフローマッチングは、任意の分布間の変換において魅力的な経験的性能を示した。
我々は,これらのフレームワークを最適制御のレンズを通して再キャストし,拡散橋のコスト関数が低いことを証明した。
これらの理論的主張を裏付けるために,潜伏変圧器上に構築された拡散橋の新しい強力なアーキテクチャを提案する。
論文 参考訳(メタデータ) (2025-09-29T09:45:22Z) - Look Within or Look Beyond? A Theoretical Comparison Between Parameter-Efficient and Full Fine-Tuning [50.05207363001145]
フルファインチューニング(FFT)に匹敵する性能を実現するPEFT法
最適化理論に基づく表現能力とロバスト性の観点から,PEFTとFFTの特性を比較した。
分類,生成,推論,微調整タスクを含む15のデータセットの実験と,11の逆検定セットによる理論の検証を行った。
論文 参考訳(メタデータ) (2025-05-28T13:35:12Z) - RaBitQ: Quantizing High-Dimensional Vectors with a Theoretical Error Bound for Approximate Nearest Neighbor Search [16.389851096504277]
本稿では,RabQ という新しいランダム化量子化手法を提案し,D$次元ベクトルを$D$ビット文字列に量子化する。
RaBitQは、シャープな理論的エラー境界を保証し、同時に優れた経験的精度を提供する。
さらに,ビットワイズ演算やSIMDに基づく演算での距離を推定するRaBitQの効率的な実装についても紹介する。
論文 参考訳(メタデータ) (2024-05-21T04:55:04Z) - REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
正の対を識別する学習尺度を新たに提案する。
検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。
本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
論文 参考訳(メタデータ) (2023-11-01T13:44:45Z) - Tractable Bounding of Counterfactual Queries by Knowledge Compilation [51.47174989680976]
本稿では, パール構造因果モデルにおいて, 因果関係などの部分的特定可能なクエリのバウンダリングの問題について議論する。
最近提案された反復EMスキームは初期化パラメータをサンプリングしてそれらの境界を内部近似する。
シンボルパラメータを実際の値に置き換えた回路構造を,単一のシンボル知識コンパイルによって得られることを示す。
論文 参考訳(メタデータ) (2023-10-05T07:10:40Z) - Estimating Coherent Contributions to the Error Profile Using Cycle Error Reconstruction [0.0]
本稿では,ハード・コンピューティング・サイクルの誤差プロファイルに対するコヒーレント・コントリビューションの詳細な推定値を得るための,スケーラブルでサイクル中心の方法論を提案する。
ibmq_guadalupe, ibmq_manila, ibmq_montrealの3つのIBMチップ上で概念実証実験を行う。
論文 参考訳(メタデータ) (2023-03-17T13:04:19Z) - Convergence Results For Q-Learning With Experience Replay [51.11953997546418]
コンバージェンスレート保証を行い、リプレイの頻度や回数といった重要なパラメータによってQ-ラーニングのコンバージェンスとどのように比較されるかについて議論する。
また、シンプルなMDPのクラスを導入・分析することで、これを厳格に改善する可能性を示す理論的な証拠も提示する。
論文 参考訳(メタデータ) (2021-12-08T10:22:49Z) - Sigma-Delta and Distributed Noise-Shaping Quantization Methods for
Random Fourier Features [73.25551965751603]
我々は、量子化 RFF が基礎となるカーネルの高精度な近似を可能にすることを証明した。
量子化 RFF はさらに圧縮され,メモリ使用量と精度のトレードオフに優れることを示す。
本手法は,この文脈におけるアート量子化手法の他の状態と比較し,いくつかの機械学習タスクにおいて,提案手法の性能を実証的に示す。
論文 参考訳(メタデータ) (2021-06-04T17:24:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。