論文の概要: SMEC: Rethinking Matryoshka Representation Learning for Retrieval Embedding Compression
- arxiv url: http://arxiv.org/abs/2510.12474v1
- Date: Tue, 14 Oct 2025 13:04:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-15 19:02:32.320496
- Title: SMEC: Rethinking Matryoshka Representation Learning for Retrieval Embedding Compression
- Title（参考訳）: SMEC:retrieval Embedding CompressionのためのMatryoshka表現学習の再考
- Authors: Biao Zhang, Lixin Chen, Tong Liu, Bo Zheng,
- Abstract要約: SMEC(Sequential Matryoshka Embedding Compression)という新しいトレーニングフレームワークを提案する。
本フレームワークでは、トレーニング中の勾配分散を緩和するSMRL法、次元プルーニング時の情報劣化を低減するAdaptive Dimension Selection(ADS)モジュール、高次元と低次元の埋め込み間の教師なし学習を強化するSelectable Cross-Batch Memory(S-XBM)モジュールを導入している。
画像、テキスト、マルチモーダルデータセットに関する実験は、SMECが性能を維持しながら大きな次元削減を達成することを示した。
- 参考スコア（独自算出の注目度）: 15.655201854308396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) generate high-dimensional embeddings that capture rich semantic and syntactic information. However, high-dimensional embeddings exacerbate computational complexity and storage requirements, thereby hindering practical deployment. To address these challenges, we propose a novel training framework named Sequential Matryoshka Embedding Compression (SMEC). This framework introduces the Sequential Matryoshka Representation Learning(SMRL) method to mitigate gradient variance during training, the Adaptive Dimension Selection (ADS) module to reduce information degradation during dimension pruning, and the Selectable Cross-batch Memory (S-XBM) module to enhance unsupervised learning between high- and low-dimensional embeddings. Experiments on image, text, and multimodal datasets demonstrate that SMEC achieves significant dimensionality reduction while maintaining performance. For instance, on the BEIR dataset, our approach improves the performance of compressed LLM2Vec embeddings (256 dimensions) by 1.1 points and 2.7 points compared to the Matryoshka-Adaptor and Search-Adaptor models, respectively.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、リッチなセマンティックおよび構文情報をキャプチャする高次元埋め込みを生成する。
しかし、高次元埋め込みは計算複雑性とストレージの要求を悪化させ、実用的な展開を妨げる。
これらの課題に対処するため,我々はSequential Matryoshka Embedding Compression (SMEC) という新しいトレーニングフレームワークを提案する。
本フレームワークでは、トレーニング中の勾配分散を緩和するSMRL法、次元プルーニング時の情報劣化を低減するAdaptive Dimension Selection(ADS)モジュール、高次元と低次元の埋め込み間の教師なし学習を強化するSelectable Cross-Batch Memory(S-XBM)モジュールを導入している。
画像、テキスト、マルチモーダルデータセットに関する実験は、SMECが性能を維持しながら大きな次元削減を達成することを示した。
例えば、BEIRデータセットでは、Materyoshka-AdaptorモデルとSearch-Adaptorモデルと比較して、圧縮LLM2Vec埋め込み(256次元)の1.1ポイントと2.7ポイントの性能が向上する。
関連論文リスト
- Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds [83.39320394656855]
LiDARポイントクラウドは、様々なアプリケーションに基本的だが、高精度スキャンは、かなりのストレージと送信オーバーヘッドを発生させる。
既存の手法では、非順序の点を階層的なオクツリーやボクセル構造に変換して、密度から疎い予測符号化を行うのが一般的である。
筆者らのフレームワークは2つの軽量モジュールから構成されている。まず、Geometry Re-Densification Moduleがエンコードされたスパース幾何を再認識し、より密なスケールで特徴を抽出し、予測符号化のための特徴を再分離する。
論文 参考訳（メタデータ） (2025-08-28T06:36:10Z) - LatentLLM: Attention-Aware Joint Tensor Compression [50.33925662486034]
大規模言語モデル(LLM)と大規模マルチモーダルモデル(LMM)は膨大な計算量とメモリ資源を必要とする。
本稿では,LLM/LMMを低次元潜在構造に変換するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-23T22:39:54Z) - Dynamic Memory-enhanced Transformer for Hyperspectral Image Classification [3.5093938502961763]
ハイパースペクトル画像(HSI)分類は、複雑な空間スペクトル相関のため、依然として困難な課題である。
既存のトランスモデルは、長距離依存を捉えるのに優れているが、情報冗長性と注意力の非効率さに悩まされることが多い。
MemFormerは、動的メモリモジュールを反復的に洗練するメモリ強化型マルチヘッドアテンションメカニズムを導入している。
動的メモリ富化戦略は、複雑な空間的およびスペクトル的依存関係を段階的にキャプチャし、より表現力のある特徴表現をもたらす。
論文 参考訳（メタデータ） (2025-04-17T17:43:34Z) - Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。
提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
論文 参考訳（メタデータ） (2024-10-12T15:10:56Z) - Maximum Manifold Capacity Representations in State Representation Learning [8.938418994111716]
多様体に基づく自己教師付き学習(SSL)は、多様体仮説に基づいて構築される。
アンバランスなアトラス(DIM-UA)を備えたDeepInfomaxが強力なツールとして登場した。
MMCRは、多様体圧縮によるクラス分離性を最適化することにより、SSLの新たなフロンティアを提供する。
本稿では,既存のSSLメソッドへのMMCRの革新的な統合について述べる。
論文 参考訳（メタデータ） (2024-05-22T17:19:30Z) - 2D Matryoshka Sentence Embeddings [11.682642816354418]
textitTwo-dimensional Matryoshka Sentence Embedding (2DMSE)footnote。
埋め込みサイズとトランスフォーマー層の両方の弾性設定をサポートし、MRLよりも柔軟性と効率性が高い。
実験により, 異なる埋め込みサイズとトランスフォーマー層を動的に支持する上で, 提案モデルの有効性が示された。
論文 参考訳（メタデータ） (2024-02-22T18:35:05Z) - DLME: Deep Local-flatness Manifold Embedding [41.86924171938867]
深部局所平坦度マニフォールド埋め込み (DLME) は, 歪みを低減し, 信頼性の高い多様体埋め込みを実現するための新しいMLフレームワークである。
実験では, 下流分類, クラスタリング, 可視化タスクにおけるDLMEの有効性を示すことにより, DLMEがSOTA MLおよびコントラッシブラーニング(CL)法より優れていることを示す。
論文 参考訳（メタデータ） (2022-07-07T08:46:17Z) - Coarse-to-Fine Embedded PatchMatch and Multi-Scale Dynamic Aggregation
for Reference-based Super-Resolution [48.093500219958834]
参照型スーパーリゾリューションのためのAMSA(Accelerated Multi-Scale Aggregation Network)を提案する。
提案したAMSAは,定量評価と定性評価の両面において,最先端の手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-01-12T08:40:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。