論文の概要: Beyond Matryoshka: Revisiting Sparse Coding for Adaptive Representation

• arxiv url: http://arxiv.org/abs/2503.01776v2
• Date: Wed, 05 Mar 2025 17:51:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 12:09:41.189414
• Title: Beyond Matryoshka: Revisiting Sparse Coding for Adaptive Representation
• Title（参考訳）: Matryoshkaを超えて: 適応表現のためのスパースコーディングを再考
• Authors: Tiansheng Wen, Yifei Wang, Zequn Zeng, Zhong Peng, Yudi Su, Xinyang Liu, Bo Chen, Hongwei Liu, Stefanie Jegelka, Chenyu You,
• Abstract要約: Matryoshka Representation Learning (MRL) は適応的な埋め込み長のソリューションとして最近登場した。 スパース符号化は、最小限のオーバーヘッドと高い忠実度で適応表現を実現するための魅力的な代替手段であることを示す。
• 参考スコア（独自算出の注目度）: 42.590255022001145
• License:
• Abstract: Many large-scale systems rely on high-quality deep representations (embeddings) to facilitate tasks like retrieval, search, and generative modeling. Matryoshka Representation Learning (MRL) recently emerged as a solution for adaptive embedding lengths, but it requires full model retraining and suffers from noticeable performance degradations at short lengths. In this paper, we show that sparse coding offers a compelling alternative for achieving adaptive representation with minimal overhead and higher fidelity. We propose Contrastive Sparse Representation (CSR), a method that sparsifies pre-trained embeddings into a high-dimensional but selectively activated feature space. By leveraging lightweight autoencoding and task-aware contrastive objectives, CSR preserves semantic quality while allowing flexible, cost-effective inference at different sparsity levels. Extensive experiments on image, text, and multimodal benchmarks demonstrate that CSR consistently outperforms MRL in terms of both accuracy and retrieval speed-often by large margins-while also cutting training time to a fraction of that required by MRL. Our results establish sparse coding as a powerful paradigm for adaptive representation learning in real-world applications where efficiency and fidelity are both paramount. Code is available at https://github.com/neilwen987/CSR_Adaptive_Rep
• Abstract（参考訳）: 多くの大規模システムは、検索、探索、生成モデリングといったタスクを容易にするために高品質な深層表現(埋め込み)に依存している。 Matryoshka Representation Learning (MRL)は適応的な埋め込み長のソリューションとして最近登場したが、完全なモデル再トレーニングが必要であり、短い時間で顕著なパフォーマンス劣化に悩まされている。 本稿では,スパース符号化が,最小限のオーバーヘッドと高い忠実度で適応表現を実現するための魅力的な代替手段であることを示す。 本研究では,事前学習した埋め込みを高次元かつ選択的に活性化された特徴空間に分散させる手法であるContrastive Sparse Representation (CSR)を提案する。 軽量なオートエンコーディングとタスク対応のコントラスト目的を活用することで、CSRはセマンティックな品質を保ちつつ、さまざまな空間レベルで柔軟なコスト効率の推論を可能にします。 画像、テキスト、マルチモーダルベンチマークに関する大規模な実験により、CSRはMRLの精度と検索速度の両方において、MRLよりも一貫して優れており、また、MRLが要求するわずかなトレーニング時間を短縮していることが示された。 本研究は,効率性と忠実度が最重要である実世界のアプリケーションにおいて,適応表現学習の強力なパラダイムとしてスパース符号化を確立した。 コードはhttps://github.com/neilwen987/CSR_Adaptive_Repで公開されている。

関連論文リスト

• Process Supervision-Guided Policy Optimization for Code Generation [15.943210767010045]
  単体テストフィードバックによる強化学習(RL)は、大規模言語モデルのLLM(LLM)コード生成を強化したが、完全なコード評価後にのみ提供されるスパース報酬に依存している。 本稿では,人間のコード修正を模倣したプロセス・リワード・モデル(PRM)を提案する。
  論文  参考訳（メタデータ） (2024-10-23T07:22:33Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Efficient and Versatile Robust Fine-Tuning of Zero-shot Models [34.27380518351181]
  本稿では、下流タスクにゼロショットモデルを微調整する新しい手法であるRobust Adapter(R-Adapter)を紹介する。 本手法は, 軽量モジュールを事前学習モデルに統合し, OODロバスト性を高め, 保存コストを大幅に削減するために, 新たな自己アンサンブル技術を用いる。 実験により,R-Adapterは,CLIPエンコーダのパラメータの13%をチューニングし,タスクのさまざまなセットで最先端のパフォーマンスを実現することを確認した。
  論文  参考訳（メタデータ） (2024-08-11T11:37:43Z)
• Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection [28.15184715270483]
  大きな言語モデル (LLM) は、検索によって強化され、堅牢な性能と広範な汎用性を示す。 本稿では,スパースRAGという新しいパラダイムを提案する。 Sparse RAGは、検索したドキュメントを並列にエンコードする。
  論文  参考訳（メタデータ） (2024-05-25T11:10:04Z)
• Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
  学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。 テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。 提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
  論文  参考訳（メタデータ） (2024-02-27T14:21:56Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• ViR: Towards Efficient Vision Retention Backbones [97.93707844681893]
  視覚保持ネットワーク(ViR)と呼ばれる新しいコンピュータビジョンモデルを提案する。 ViRは並列および繰り返しの定式化を持ち、高速推論と並列トレーニングと競合性能の最適なバランスをとる。 我々は,様々なデータセットサイズと様々な画像解像度を用いた広範囲な実験により,ViRの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-30T16:55:50Z)
• Learning Temporally-Consistent Representations for Data-Efficient Reinforcement Learning [3.308743964406687]
  $k$-Step Latent (KSL) は表現の時間的一貫性を強制する表現学習法である。 KSLはトレーニング中に見つからない新しいタスクを一般化するエンコーダを生成する。
  論文  参考訳（メタデータ） (2021-10-11T00:16:43Z)
• Provably Efficient Representation Selection in Low-rank Markov Decision Processes: From Online to Offline RL [84.14947307790361]
  オンラインおよびオフラインの強化学習における表現学習のための効率的なアルゴリズムであるReLEXを提案する。 Re-UCBと呼ばれるReLEXのオンラインバージョンは、表現の選択なしでは最先端のアルゴリズムよりも常に悪い性能を発揮することを示す。 オフラインのReLEX-LCBに対して、表現クラスが状態-作用空間をカバーできる場合、アルゴリズムが最適なポリシーを見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-06-22T17:16:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。