論文の概要: DIVE: Embedding Compression via Self-Limiting Gradient Updates

• arxiv url: http://arxiv.org/abs/2605.20689v1
• Date: Wed, 20 May 2026 04:35:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.475982
• Title: DIVE: Embedding Compression via Self-Limiting Gradient Updates
• Title（参考訳）: DIVE: 自己制限のグラディエントアップデートによる圧縮の埋め込み
• Authors: Dongfang Zhao,
• Abstract要約: 大規模言語モデルからの高次元埋め込みは、ベクトル探索システムにかなりのストレージと計算コストを課す。 最近の組込み圧縮法であるMatryoshka-Adaptor (EMNLP 2024) は, 軽量残像アダプタによる寸法の低減を実現するが, ラベル付きデータが少ない場合, トレーニング目的が過度に過度なオーバーフィッティングを引き起こす。 textbfImplicit textbfView textbfEnsembles を用いたtextscDIVE (textbf dimensionity reduction with textbfImplicit textbfView textbfEnsembles) を提案する。
• 参考スコア（独自算出の注目度）: 0.9179857807576733
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: High-dimensional embeddings from large language models impose significant storage and computational costs on vector search systems. Recent embedding compression methods, including Matryoshka-Adaptor (EMNLP 2024), Search-Adaptor (ACL 2024), and SMEC (EMNLP 2025), enable dimensionality reduction through lightweight residual adapters, but their training objectives cause severe overfitting when labeled data is scarce, degrading retrieval performance below the frozen baseline. We propose \textsc{DIVE} (\textbf{D}imensionality reduction with \textbf{I}mplicit \textbf{V}iew \textbf{E}nsembles), a compression adapter that addresses this failure through two mechanisms. First, a self-limiting hinge-based triplet loss produces zero gradient once a triplet satisfies the margin constraint, bounding the total perturbation applied to the pretrained embedding space. Second, a head-wise NT-Xent contrastive loss treats multiple learned projections of each embedding as implicit views, providing dense self-supervised gradients that compensate for the sparsity of the triplet signal on small datasets. Across six BEIR datasets, \textsc{DIVE} outperforms all three baseline adapters on every dataset and at every evaluated compression ratio, with a 14M-parameter open-source implementation.
• Abstract（参考訳）: 大規模言語モデルからの高次元埋め込みは、ベクトル探索システムにかなりのストレージと計算コストを課す。 近年,Mtryoshka-Adaptor (EMNLP 2024), Search-Adaptor (ACL 2024), SMEC (EMNLP 2025), などの埋め込み圧縮法では, 軽量残差アダプタによる寸法の低減が可能となっているが, ラベル付きデータが不足している場合, 学習目標が大幅に過適合し, 冷凍ベースラインより下方に検索性能が低下する。 本稿では,この障害に対処する圧縮アダプタであるtextbf{DIVE} (\textbf{D}imensionality reduction with \textbf{I}mplicit \textbf{V}iew \textbf{E}nsembles)を提案する。 第一に、自己制限ヒンジベースの三重項損失は、三重項がマージン制約を満たすとゼロ勾配を生じ、予め訓練された埋め込み空間に適用される総摂動を束縛する。 第二に、頭回りのNT-Xentコントラスト損失は、各埋め込みの複数の学習されたプロジェクションを暗黙の視点として扱い、小さなデータセット上の三重項信号の間隔を補う、密集した自己教師付き勾配を提供する。 6つのBEIRデータセット全体で、 \textsc{DIVE}は、すべてのデータセットと評価された圧縮比の3つのベースラインアダプタを、14Mパラメータのオープンソース実装で上回っている。

関連論文リスト

• MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
  本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。 本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2024-08-19T01:30:14Z)
• Error Feedback Can Accurately Compress Preconditioners [43.60787513716217]
  ディープ・ネットワークの規模での損失に関する2次情報を活用することは、ディープ・ラーニングのための電流の性能を改善するための主要なアプローチの1つである。 しかし、GGT (Full-Matrix Adagrad) やM-FAC (Matrix-Free Approximate Curvature) のような、正確な完全行列プリコンディショニングのための既存のアプローチは、小規模モデルにも適用した場合に膨大なストレージコストを被る。 本稿では, コンバージェンスを損なうことなく, プリコンディショナーを最大2桁圧縮できる新しい, 効率的なエラーフィードバック手法により, この問題に対処する。
  論文  参考訳（メタデータ） (2023-06-09T17:58:47Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。