論文の概要: CSRv2: Unlocking Ultra-Sparse Embeddings

• arxiv url: http://arxiv.org/abs/2602.05735v3
• Date: Tue, 10 Feb 2026 01:24:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 15:31:42.854353
• Title: CSRv2: Unlocking Ultra-Sparse Embeddings
• Title（参考訳）: CSRv2:ウルトラスパース埋め込みのアンロック
• Abstract要約: CSR(Contrastive Sparse Representation)は、高次元だが k-スパースベクトルに密着した埋め込みをマッピングするための有望な方向として提案されている。 CSRは、80%以上のニューロンが不活性のままである超スパース状態において深刻な劣化を被る。 CSRv2は、超スパースな埋め込みを実現するために設計された、原則化されたトレーニング手法である。
• 参考スコア（独自算出の注目度）: 52.553928856110296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the era of large foundation models, the quality of embeddings has become a central determinant of downstream task performance and overall system capability. Yet widely used dense embeddings are often extremely high-dimensional, incurring substantial costs in storage, memory, and inference latency. To address these, Contrastive Sparse Representation (CSR) is recently proposed as a promising direction, mapping dense embeddings into high-dimensional but k-sparse vectors, in contrast to compact dense embeddings such as Matryoshka Representation Learning (MRL). Despite its promise, CSR suffers severe degradation in the ultra-sparse regime, where over 80% of neurons remain inactive, leaving much of its efficiency potential unrealized. In this paper, we introduce CSRv2, a principled training approach designed to make ultra-sparse embeddings viable. CSRv2 stabilizes sparsity learning through progressive k-annealing, enhances representational quality via supervised contrastive objectives, and ensures end-to-end adaptability with full backbone finetuning. CSRv2 reduces dead neurons from 80% to 20% and delivers a 14% accuracy gain at k=2, bringing ultra-sparse embeddings on par with CSR at k=8 and MRL at 32 dimensions, all with only two active features. While maintaining comparable performance, CSRv2 delivers a 7x speedup over MRL, and yields up to 300x improvements in compute and memory efficiency relative to dense embeddings in text representation. Extensive experiments across text and vision demonstrate that CSRv2 makes ultra-sparse embeddings practical without compromising performance, where CSRv2 achieves 7%/4% improvement over CSR when k=4 and further increases this gap to 14%/6% when k=2 in text/vision representation. By making extreme sparsity viable, CSRv2 broadens the design space for real-time and edge-deployable AI systems where both embedding quality and efficiency are critical.
• Abstract（参考訳）: 大規模基盤モデルの時代には、組込みの質が下流のタスク性能とシステム全体の能力の中心的な決定要因となっている。 しかし、広く使われている濃密な埋め込みは、しばしば非常に高次元であり、ストレージ、メモリ、推論遅延にかなりのコストがかかる。 これらに対処するため、最近、Contrastive Sparse Representation (CSR) が有望な方向として提案され、Matryoshka Representation Learning (MRL) のようなコンパクトな密埋め込みとは対照的に、密埋め込みを高次元だがkスパースベクトルにマッピングする。 約束にもかかわらず、CSRは、80%以上のニューロンが不活性のままであり、その効率性の多くは未実現のままである超スパース状態の深刻な劣化に苦しむ。 本稿では,超スパースな埋め込みを実現するための原則的トレーニング手法であるCSRv2を紹介する。 CSRv2はプログレッシブkアニールによる空間学習の安定化、教師付きコントラスト目的による表現品質の向上、フルバックボーン微調整によるエンドツーエンド適応性を保証する。 CSRv2は死んだ神経細胞を80%から20%に減らし、k=2で14%の精度向上をもたらす。 同等のパフォーマンスを維持しながら、CSRv2はMRLよりも7倍のスピードアップを実現し、テキスト表現に密着した埋め込みと比較して、最大300倍の計算とメモリ効率向上を実現している。 CSRv2は、k=4のとき、CSRよりも7%/4%向上し、k=2のとき、そのギャップを14%/6%に拡大する。 CSRv2は、極端に広い範囲を有効にすることで、組み込み品質と効率の両方が重要となる、リアルタイムおよびエッジデプロイ可能なAIシステムの設計領域を広げる。

関連論文リスト

• Coupled Continuous-Discrete Generation for Scene Text Image Super-Resolution [51.31474187379532]
  Scene Text Image Super- resolution (STISR) は、劣化した入力から文字の意味を保ちながら、視覚的に可視な外観を回復することを目的としている。 本稿では,STISRを連成連続離散生成として定式化する統合フレームワークであるDualTSRを提案する。 条件付きフローマッチングは連続した画像ラテントを復元し、吸収状態の離散拡散はテキストトークンを再構成する。
  論文  参考訳（メタデータ） (2026-08-05T06:57:30Z)
• Efficient One-Step Diffusion Restoration Model with Compact Token Compression and Linear Attention [66.63806505114263]
  既存のReal-ISR法は、高密度な潜在表現と2次コストのグローバルモデリングパラダイムを継承する。 重要なボトルネックは、高分解能回復中の過剰なトークン冗長性とコストのかかるトークン相互作用にある、と我々は主張する。 我々は,LRA微細調整によるリニアアテンションDiTを導入し,リニア複雑トークン混合による高分解能復元を実現した。
  論文  参考訳（メタデータ） (2026-05-22T10:07:02Z)
• QuantSR+: Pushing the Limit of Quantized Image Super-Resolution Networks [63.04549067734431]
  低ビット量子化は超解像モデル(SR)の圧縮に広く用いられている。 しかし、SRモデルが超低精度(2-4ビット)にプッシュされると、性能は急激に低下する。 本稿では,量子化演算子,ネットワーク設計,トレーニング最適化を改善する統一フレームワークQuantSR+を提案する。
  論文  参考訳（メタデータ） (2026-05-21T11:38:52Z)
• R2R2: Robust Representation for Intensive Experience Reuse via Redundancy Reduction in Self-Predictive Learning [40.03346193264488]
  自己予測学習(SPL)における正規化手法として冗長化によるロバスト表現(R2R2)を提案する。 TD7のようなSPLネイティブアルゴリズム上でR2R2を検証する。 11の連続制御タスクに対する実験では、R2R2がオーバーフィッティングを効果的に軽減することを確認した。
  論文  参考訳（メタデータ） (2026-05-13T18:38:32Z)
• DARE: Diffusion Language Model Activation Reuse for Efficient Inference [26.967107786841936]
  Diffusion Large Language Models (dLLMs) は、自動回帰(AR)モデルに代わる有望な代替品として登場した。 本稿では,キャッシュされたキー値(KV)アクティベーションを再利用するDARE-KVと,出力アクティベーションを再利用するDARE-Oの2つの相補的なメカニズムを紹介する。 DAREは1層あたりのレイテンシの最大1.20倍の削減を実現し、アテンションアクティベーションの最大87%を再利用する。
  論文  参考訳（メタデータ） (2026-05-01T19:15:45Z)
• DeFRiS: Silo-Cooperative IoT Applications Scheduling via Decentralized Federated Reinforcement Learning [62.347535250646196]
  本稿では、ロバストでスケーラブルなシロコラボ型IoTアプリケーションスケジューリングのための分散フェデレーション強化学習フレームワークであるDeFRiSを提案する。 DeFRiSは、(i)異種サイロ間のシームレスな知識伝達を可能にするための候補資源スコアを利用したアクション空間非依存ポリシー、(ii)汎用アドバンテージ推定とクリッピングされたポリシー更新を組み合わせたサイロ最適化ローカル学習メカニズム、(iii)類似性認識の知識伝達と異常検出に勾配指紋を利用するDual-Track Non-IIDロバストな分散集約プロトコル、の3つのイノベーションを統合する。
  論文  参考訳（メタデータ） (2026-03-16T02:02:38Z)
• Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
  視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
  論文  参考訳（メタデータ） (2026-03-10T10:31:58Z)
• Efficient-LVSM: Faster, Cheaper, and Better Large View Synthesis Model via Decoupled Co-Refinement Attention [105.11288339285154]
  Efficient-LVSMは、インプットビューにビュー内自己アテンションを適用し、ターゲットビューに自己テーマ横断アテンションを適用するデュアルストリームアーキテクチャである。 2つの入力ビューを持つRealEstate10Kでは29.86dBのPSNRを実現し、LVSMを0.2dBで上回り、2倍高速なトレーニングコンバージェンスと4.4倍高速な推論速度を実現している。
  論文  参考訳（メタデータ） (2026-02-06T08:11:58Z)
• SRSR: Enhancing Semantic Accuracy in Real-World Image Super-Resolution with Spatially Re-Focused Text-Conditioning [59.013863248600046]
  本稿では,空間的に再焦点を絞ったテキストコンディショニングを推論時に洗練する超解像フレームワークを提案する。 第二に,非接地画素に対するテキストの影響を選択的に回避し,幻覚を防ぐ空間的自由誘導機構を導入する。
  論文  参考訳（メタデータ） (2025-10-26T05:03:55Z)
• KeyKnowledgeRAG (K^2RAG): An Enhanced RAG method for improved LLM question-answering capabilities [2.4874078867686085]
  KeyKnowledgeRAG (K2RAG)は、RAG実装の制限を克服するために設計された新しいフレームワークである。 厳密でスパースなベクトル探索、知識グラフ、テキスト要約を統合して、検索品質とシステム効率を向上させる。 K2RAGは平均回答類似度スコア0.57を達成し、第3位Q3類似度0.82を達成した。
  論文  参考訳（メタデータ） (2025-07-10T12:19:03Z)
• Beyond Matryoshka: Revisiting Sparse Coding for Adaptive Representation [42.590255022001145]
  Matryoshka Representation Learning (MRL) は適応的な埋め込み長のソリューションとして最近登場した。 スパース符号化は、最小限のオーバーヘッドと高い忠実度で適応表現を実現するための魅力的な代替手段であることを示す。
  論文  参考訳（メタデータ） (2025-03-03T17:59:48Z)
• NVS-SQA: Exploring Self-Supervised Quality Representation Learning for Neurally Synthesized Scenes without References [57.0432939964225]
  我々は,NVS-SQAを提案する。NVS-SQAは,自己スーパービジョンを通じて,非参照品質表現を学習するための品質評価手法である。 従来の自己教師型学習は、主に"same instance, similar representation"仮定と広範なデータセットに依存している。 我々は、学習の効率と効率を改善するために、フォトリアリスティックな手がかりと品質スコアを学習目的として採用する。
  論文  参考訳（メタデータ） (2025-01-11T09:12:43Z)
• VICON: Vision In-Context Operator Networks for Multi-Physics Fluid Dynamics Prediction [30.201826592090885]
  In-Context Operator Networks (ICONs) は、少数ショットのインコンテキスト学習を用いて様々な偏微分方程式の演算子を学習する。 既存のICONは各空間点を個々のトークンとして処理し、高次元の高密度データを処理する際に計算効率を著しく制限する。 本稿では,ビジョントランスフォーマーアーキテクチャを統合し,パッチワイズ操作による2次元データの効率的な処理を行うビジョン・イン・コンテキスト・オペレーター・ネットワーク(VICON)を提案する。
  論文  参考訳（メタデータ） (2024-11-25T03:25:17Z)
• Sebica: Lightweight Spatial and Efficient Bidirectional Channel Attention Super Resolution Network [0.0]
  SISR(Single Image Super-Resolution)は,低解像度画像の画質向上のための重要な技術である。 本稿では,空間的および効率的な双方向チャネルアテンション機構を組み込んだ軽量ネットワークSebicaを提案する。 セビカは高い復元品質を維持しながら計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-10-27T18:27:07Z)
• Structured Pruning for Efficient Visual Place Recognition [24.433604332415204]
  視覚的位置認識(VPR)は、ロボットや機器のグローバルな再ローカライズに欠かせない。 本稿では,共通VPRアーキテクチャを合理化するための新しい構造化プルーニング手法を提案する。 この二重焦点はシステムの効率を大幅に向上させ、マップとモデルメモリの要求を減らし、特徴抽出と検索待ち時間を短縮する。
  論文  参考訳（メタデータ） (2024-09-12T08:32:25Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。