論文の概要: Relevance-Guided Residual Calibration for Spectral Compression of Dense Retrieval Embeddings
- arxiv url: http://arxiv.org/abs/2610.37707v1
- Date: Mon, 26 Oct 2026 19:12:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 19:50:45.643107
- Title: Relevance-Guided Residual Calibration for Spectral Compression of Dense Retrieval Embeddings
- Title（参考訳）: 密度検索用埋め込みのスペクトル圧縮に対する関連誘導残差校正法
- Abstract要約: ResidualGuided Residuals (RRC) は、相対性判定を用いてスペクトル重みを精製する閉形式法である。
RRCはPCA、Whitening、SpecTempに適用され、ドキュメントやクエリで共有される既存の変換に修正を組み込む。
- 参考スコア（独自算出の注目度）: 17.660889990235656
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spectral compression reduces the storage and scoring costs of dense retrieval by projecting embeddings onto a smaller principal subspace. However, its corpus-derived weighting rules tie all retained directions to a shared spectral trend, without directly accounting for their individual contributions to relevance. To address this, we propose Relevance-Guided Residual Calibration (RRC), a closed-form method for refining spectral weights using relevance judgments. RRC estimates margin-based weights from the means and variances of positive--negative score contributions along each retained direction. It retains directions with positive estimated weights, decomposes their log weights into a fitted power-law trend and a residual, and adds the residual to the compressor's log weights on this support. This allows relevance judgments to adjust individual directions while preserving the compressor's overall spectral trend. RRC applies to PCA, Whitening, and SpecTemp, and incorporates the corrections into the existing transformation shared by documents and queries, without iterative model training or an additional inference stage. Experiments with three encoders on nine datasets covering conventional and reasoning-intensive retrieval show that SpecTemp + RRC achieves the highest mean effectiveness among tested compressors on the BEIR group and BRIGHT at every target dimension. On the five evaluated BRIGHT datasets, it improves over SpecTemp by an average of 2.34 nDCG@10 points at 768 dimensions. The gains also persist under scalar and product quantization, improving the trade-off between per-document storage and retrieval effectiveness. Our code is available at: https://anonymous.4open.science/r/rrc-spectral-compression-B5CE/
- Abstract（参考訳）: スペクトル圧縮は、より小さな主部分空間に埋め込みを投影することにより、高密度な検索の記憶と採点コストを低減する。
しかし、コーパス由来の重み付け規則は、個々のコントリビューションを関連性に直接考慮せずに、すべての保持方向を共有スペクトル傾向に結びつける。
そこで本研究では,相対性判定を用いたスペクトル重み付け法であるRelevance-Guided Residual Calibration (RRC)を提案する。
RRCは、各保持方向に沿った正負のスコアコントリビューションの手段とばらつきからマージンベースの重みを推定する。
積算重量で方向を保ち、その対数重みを不規則な風潮と残留物に分解し、この支持体に圧縮機の対数重みを付加する。
これにより、レバレンス判定は、圧縮機の全体的なスペクトル傾向を保ちながら、個々の方向を調整することができる。
RRCはPCA、Whitening、SpecTempに適用され、反復モデルトレーニングや追加の推論段階なしに、文書やクエリによって共有される既存の変換に修正を組み込む。
SpecTemp + RRC は BEIR 群における試験圧縮機とBRIGHT の各ターゲット次元において, 実験圧縮機の中で最大平均効率を達成できることを示す。
5つの評価されたBRIGHTデータセットでは、SpecTempよりも平均2.34 nDCG@10点の768次元で改善されている。
ゲインはスカラーおよび製品量子化の下でも持続し、ドキュメント単位のストレージと検索効率のトレードオフを改善した。
私たちのコードは、https://anonymous.4open.science/r/rrc-spectral-compression-B5CE/で利用可能です。
関連論文リスト
- RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies [9.934234507217521]
我々は、事前学習した注意を縮小次元形式に変換するための設計上の考慮事項を定式化する。
本稿では,共同クエリキー活性化エネルギーを用いて回転対を選択するポストトレーニング手法であるRASを紹介する。
RACEは50%のKVキャッシュ保持と256Kコンテキストで、FLOPを47.8%削減し、スループットは1.79倍に向上した。
論文 参考訳（メタデータ） (2026-10-20T15:34:02Z) - CORE: COverage CAlibration and Evicted-Mass REdistribution for KV Cache [12.681037263571561]
長いコンテキストの復号化はキー値(KV)キャッシュメモリと帯域幅によってますます制限される。
既存の固定予算圧縮法は、通常、補償から保持を分離する。
COREは最強のRULERベースラインを最大3.78ポイント、90%の圧縮で上回っている。
論文 参考訳（メタデータ） (2026-09-28T08:31:48Z) - COEC: Calibrated Orthogonal-Equivalence Compensation for Structured Pruning of Large Language Models [13.501861808796873]
構造化プルーニングのためのトレーニングフリー補償フレームワークとしてCOEC(Calibrated Orthogonal-Equivalence Compensation)を提案する。
Llama-3、Llama-3.1、Qwen2.5のモデルファミリーの実験では、COECは全てのモデルにおけるパープレキシティを改善し、ほとんどの設定においてゼロショット精度を向上している。
論文 参考訳（メタデータ） (2026-08-21T14:20:49Z) - Robust Trajectory Distillation: Hybrid Reweighting Meets Teacher-Inspired Targets [51.490743278360064]
本稿では,ノイズを共同で抑制し,伝達可能な知識を残さずに保持するトラジェクトリベースのDDフレームワークを提案する。
SGR(Selective Guidance Reweighting)とTIAT(Teacher-Inspireed Auxiliary Targets)の2つの補完的なコンポーネントで構成されている。
論文 参考訳（メタデータ） (2026-06-29T06:24:53Z) - Predictive Spectral Calibration for Source-Free Test-Time Regression [0.764671395172401]
Predictive Spectral (PSC) は、サブスペースアライメントを拡張してスペクトルマッチングをブロックする、ソースフリーのフレームワークである。
PSCは実装が簡単で、モデルに依存しず、市販の事前訓練された回帰器と互換性がある。
論文 参考訳（メタデータ） (2026-03-10T08:15:44Z) - ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。
キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。
本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
論文 参考訳（メタデータ） (2025-05-30T08:49:27Z) - Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。
学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。
複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
論文 参考訳（メタデータ） (2025-02-20T23:18:39Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。
スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
論文 参考訳（メタデータ） (2024-10-04T02:32:36Z) - Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization [5.648270790530862]
最先端のアプローチには、結果のモデル品質(精度)と圧縮比とのトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。
モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。
本稿では,この変動を利用した非一様量子化手法,最適な量子化構成を動的に見つける効率的な探索機構,重みを再構成してチェックポイント差を最小限に抑える量子化対応デルタ圧縮機構を提案する。
論文 参考訳（メタデータ） (2023-06-20T18:00:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。