Fugu-MT 論文翻訳(概要): CSRv2: Unlocking Ultra-Sparse Embeddings

論文の概要: CSRv2: Unlocking Ultra-Sparse Embeddings

arxiv url: http://arxiv.org/abs/2602.05735v1
Date: Thu, 05 Feb 2026 14:59:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-06 18:49:08.98962
Title: CSRv2: Unlocking Ultra-Sparse Embeddings
Title（参考訳）: CSRv2:ウルトラスパース埋め込みのアンロック
Authors: Lixuan Guo, Yifei Wang, Tiansheng Wen, Yifan Wang, Aosong Feng, Bo Chen, Stefanie Jegelka, Chenyu You,
Abstract要約: CSR(Contrastive Sparse Representation)は、高次元だが k-スパースベクトルに密着した埋め込みをマッピングするための有望な方向として提案されている。 CSRは、80%以上のニューロンが不活性のままである超スパース状態において深刻な劣化を被る。 CSRv2は、超スパースな埋め込みを実現するために設計された、原則化されたトレーニング手法である。
参考スコア（独自算出の注目度）: 52.553928856110296
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the era of large foundation models, the quality of embeddings has become a central determinant of downstream task performance and overall system capability. Yet widely used dense embeddings are often extremely high-dimensional, incurring substantial costs in storage, memory, and inference latency. To address these, Contrastive Sparse Representation (CSR) is recently proposed as a promising direction, mapping dense embeddings into high-dimensional but k-sparse vectors, in contrast to compact dense embeddings such as Matryoshka Representation Learning (MRL). Despite its promise, CSR suffers severe degradation in the ultra-sparse regime, where over 80% of neurons remain inactive, leaving much of its efficiency potential unrealized. In this paper, we introduce CSRv2, a principled training approach designed to make ultra-sparse embeddings viable. CSRv2 stabilizes sparsity learning through progressive k-annealing, enhances representational quality via supervised contrastive objectives, and ensures end-to-end adaptability with full backbone finetuning. CSRv2 reduces dead neurons from 80% to 20% and delivers a 14% accuracy gain at k=2, bringing ultra-sparse embeddings on par with CSR at k=8 and MRL at 32 dimensions, all with only two active features. While maintaining comparable performance, CSRv2 delivers a 7x speedup over MRL, and yields up to 300x improvements in compute and memory efficiency relative to dense embeddings in text representation. Extensive experiments across text and vision demonstrate that CSRv2 makes ultra-sparse embeddings practical without compromising performance, where CSRv2 achieves 7%/4% improvement over CSR when k=4 and further increases this gap to 14%/6% when k=2 in text/vision representation. By making extreme sparsity viable, CSRv2 broadens the design space for real-time and edge-deployable AI systems where both embedding quality and efficiency are critical.
Abstract（参考訳）: 大規模基盤モデルの時代には、組込みの質が下流のタスク性能とシステム全体の能力の中心的な決定要因となっている。しかし、広く使われている濃密な埋め込みは、しばしば非常に高次元であり、ストレージ、メモリ、推論遅延にかなりのコストがかかる。これらに対処するため、最近、Contrastive Sparse Representation (CSR) が有望な方向として提案され、Matryoshka Representation Learning (MRL) のようなコンパクトな密埋め込みとは対照的に、密埋め込みを高次元だがkスパースベクトルにマッピングする。約束にもかかわらず、CSRは、80%以上のニューロンが不活性のままであり、その効率性の多くは未実現のままである超スパース状態の深刻な劣化に苦しむ。本稿では,超スパースな埋め込みを実現するための原則的トレーニング手法であるCSRv2を紹介する。 CSRv2はプログレッシブkアニールによる空間学習の安定化、教師付きコントラスト目的による表現品質の向上、フルバックボーン微調整によるエンドツーエンド適応性を保証する。 CSRv2は死んだ神経細胞を80%から20%に減らし、k=2で14%の精度向上をもたらす。同等のパフォーマンスを維持しながら、CSRv2はMRLよりも7倍のスピードアップを実現し、テキスト表現に密着した埋め込みと比較して、最大300倍の計算とメモリ効率向上を実現している。 CSRv2は、k=4のとき、CSRよりも7%/4%向上し、k=2のとき、そのギャップを14%/6%に拡大する。 CSRv2は、極端に広い範囲を有効にすることで、組み込み品質と効率の両方が重要となる、リアルタイムおよびエッジデプロイ可能なAIシステムの設計領域を広げる。

論文の概要: CSRv2: Unlocking Ultra-Sparse Embeddings

関連論文リスト