論文の概要: CoRECT: A Framework for Evaluating Embedding Compression Techniques at Scale

• arxiv url: http://arxiv.org/abs/2510.19340v1
• Date: Wed, 22 Oct 2025 08:03:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.336197
• Title: CoRECT: A Framework for Evaluating Embedding Compression Techniques at Scale
• Title（参考訳）: CoRECT: エンベッド圧縮技術を大規模に評価するためのフレームワーク
• Authors: L. Caspari, M. Dinzinger, K. Gosh Dastidar, C. Fellicious, J. Mitrović, M. Granitzer,
• Abstract要約: CoRECTは埋め込み圧縮手法の大規模評価のためのフレームワークである。 非学習圧縮は,最大100万パスにおいても,インデックスサイズを大幅に削減できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense retrieval systems have proven to be effective across various benchmarks, but require substantial memory to store large search indices. Recent advances in embedding compression show that index sizes can be greatly reduced with minimal loss in ranking quality. However, existing studies often overlook the role of corpus complexity -- a critical factor, as recent work shows that both corpus size and document length strongly affect dense retrieval performance. In this paper, we introduce CoRECT (Controlled Retrieval Evaluation of Compression Techniques), a framework for large-scale evaluation of embedding compression methods, supported by a newly curated dataset collection. To demonstrate its utility, we benchmark eight representative types of compression methods. Notably, we show that non-learned compression achieves substantial index size reduction, even on up to 100M passages, with statistically insignificant performance loss. However, selecting the optimal compression method remains challenging, as performance varies across models. Such variability highlights the necessity of CoRECT to enable consistent comparison and informed selection of compression methods. All code, data, and results are available on GitHub and HuggingFace.
• Abstract（参考訳）: デンス検索システムは様々なベンチマークで有効であることが証明されているが、大規模な検索インデックスを格納するにはかなりのメモリを必要とする。 組込み圧縮の最近の進歩は、ランク付け品質の低下を最小限に抑え、インデックスサイズを大幅に削減できることを示している。 しかし、コーパスサイズと文書長の両方が高密度検索性能に強く影響していることが最近の研究で示されているように、既存の研究ではコーパスの複雑さの役割を見落としていることが多い。 本稿では,CORECT(Controlled Retrieval Evaluation of Compression Techniques)について紹介する。 その有用性を示すために,8種類の圧縮手法をベンチマークした。 特に,非学習圧縮は,最大100万のパスにおいて,統計的に重要な性能損失を伴っても,インデックスサイズを大幅に削減できることを示す。 しかし、モデルによって性能が異なるため、最適圧縮法を選択することは依然として困難である。 このような可変性は、圧縮方法の一貫性のある比較と情報選択を可能にするためのCoRECTの必要性を強調している。 すべてのコード、データ、結果はGitHubとHuggingFaceで入手できる。

関連論文リスト

• Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods [54.4711434793961]
  単純な画像ダウンサンプリングは、複数の広く使用されているベンチマークにおいて、多くの高度な圧縮方法より一貫して優れていることを示す。 これらの結果に触発され,既存のベンチマークを識別するデータフィルタリング機構を組み込んだ評価フレームワークであるVTC-Benchを導入する。
  論文  参考訳（メタデータ） (2025-10-08T15:44:28Z)
• CORE-RAG: Lossless Compression for Retrieval-Augmented LLMs via Reinforcement Learning [22.93037884068796]
  Retrieval-Augmented Generation (RAG) は、知識更新のタイムラインと大規模言語モデルにおける応答の事実的正確性を高めるための有望なアプローチとして登場した。 RAG用に調整された文書圧縮への既存のアプローチは、しばしばタスクパフォーマンスを低下させる。 我々は、RAGにおけるロスレスコンテキスト圧縮の新しい手法であるCOREを提案する。
  論文  参考訳（メタデータ） (2025-08-24T12:21:50Z)
• An Enhancement of Jiang, Z., et al.s Compression-Based Classification Algorithm Applied to News Article Categorization [0.0]
  本研究は,テキスト間の意味的類似性を検出する際の限界に対処することで,Jiangらによる圧縮に基づく分類アルゴリズムを強化する。 提案された改善は、ユニグラム抽出と最適化された結合に焦点を当て、ドキュメント全体の圧縮への依存を排除した。 さまざまなサイズと複雑さのデータセットに対する実験の結果、平均精度は5.73%向上し、長いドキュメントを含むデータセットでは最大11%向上した。
  論文  参考訳（メタデータ） (2025-02-20T10:50:59Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• Lightweight Correlation-Aware Table Compression [58.50312417249682]
  $texttVirtual$は、既存のオープンフォーマットとシームレスに統合されるフレームワークである。 data-govデータセットの実験によると、$texttVirtual$はApache Parquetと比較してファイルサイズを最大40%削減する。
  論文  参考訳（メタデータ） (2024-10-17T22:28:07Z)
• Characterizing Prompt Compression Methods for Long Context Inference [36.9745587176401]
  長期のコンテキスト推論は、計算とメモリの要求が増大するにつれて、システムレベルでの課題を提示します。 コンテクスト長を削減するためにプロンプトを圧縮するいくつかの方法が提案されている。 我々は、異なるプロンプト圧縮法を包括的に評価し、評価する。
  論文  参考訳（メタデータ） (2024-07-11T23:34:32Z)
• Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
  本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。 高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
  論文  参考訳（メタデータ） (2020-11-17T20:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。