Fugu-MT 論文翻訳(概要): DIVE: Embedding Compression via Self-Limiting Gradient Updates

論文の概要: DIVE: Embedding Compression via Self-Limiting Gradient Updates

arxiv url: http://arxiv.org/abs/2605.20689v1
Date: Wed, 20 May 2026 04:35:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-21 19:19:56.475982
Title: DIVE: Embedding Compression via Self-Limiting Gradient Updates
Title（参考訳）: DIVE: 自己制限のグラディエントアップデートによる圧縮の埋め込み
Abstract要約: 大規模言語モデルからの高次元埋め込みは、ベクトル探索システムにかなりのストレージと計算コストを課す。最近の組込み圧縮法であるMatryoshka-Adaptor (EMNLP 2024) は, 軽量残像アダプタによる寸法の低減を実現するが, ラベル付きデータが少ない場合, トレーニング目的が過度に過度なオーバーフィッティングを引き起こす。 textbfImplicit textbfView textbfEnsembles を用いたtextscDIVE (textbf dimensionity reduction with textbfImplicit textbfView textbfEnsembles) を提案する。
参考スコア（独自算出の注目度）: 0.9179857807576733
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: High-dimensional embeddings from large language models impose significant storage and computational costs on vector search systems. Recent embedding compression methods, including Matryoshka-Adaptor (EMNLP 2024), Search-Adaptor (ACL 2024), and SMEC (EMNLP 2025), enable dimensionality reduction through lightweight residual adapters, but their training objectives cause severe overfitting when labeled data is scarce, degrading retrieval performance below the frozen baseline. We propose \textsc{DIVE} (\textbf{D}imensionality reduction with \textbf{I}mplicit \textbf{V}iew \textbf{E}nsembles), a compression adapter that addresses this failure through two mechanisms. First, a self-limiting hinge-based triplet loss produces zero gradient once a triplet satisfies the margin constraint, bounding the total perturbation applied to the pretrained embedding space. Second, a head-wise NT-Xent contrastive loss treats multiple learned projections of each embedding as implicit views, providing dense self-supervised gradients that compensate for the sparsity of the triplet signal on small datasets. Across six BEIR datasets, \textsc{DIVE} outperforms all three baseline adapters on every dataset and at every evaluated compression ratio, with a 14M-parameter open-source implementation.
Abstract（参考訳）: 大規模言語モデルからの高次元埋め込みは、ベクトル探索システムにかなりのストレージと計算コストを課す。近年,Mtryoshka-Adaptor (EMNLP 2024), Search-Adaptor (ACL 2024), SMEC (EMNLP 2025), などの埋め込み圧縮法では, 軽量残差アダプタによる寸法の低減が可能となっているが, ラベル付きデータが不足している場合, 学習目標が大幅に過適合し, 冷凍ベースラインより下方に検索性能が低下する。本稿では,この障害に対処する圧縮アダプタであるtextbf{DIVE} (\textbf{D}imensionality reduction with \textbf{I}mplicit \textbf{V}iew \textbf{E}nsembles)を提案する。第一に、自己制限ヒンジベースの三重項損失は、三重項がマージン制約を満たすとゼロ勾配を生じ、予め訓練された埋め込み空間に適用される総摂動を束縛する。第二に、頭回りのNT-Xentコントラスト損失は、各埋め込みの複数の学習されたプロジェクションを暗黙の視点として扱い、小さなデータセット上の三重項信号の間隔を補う、密集した自己教師付き勾配を提供する。 6つのBEIRデータセット全体で、 \textsc{DIVE}は、すべてのデータセットと評価された圧縮比の3つのベースラインアダプタを、14Mパラメータのオープンソース実装で上回っている。

関連論文リスト

Per-Matrix Optimality Is Not Enough: Three-Level Optimization for Low-Rank LLM Compression [8.890261387138215]
本稿では,各行列からトランスフォーマーブロックへ最適化範囲を広げる3レベルチェーンを提案する。 LLaMA-7Bの60%圧縮では、WikiText-2の難易度は42.1から19.1から11.4に減少する。ブロックレベルのステージをスキップすると、オフラインの計算-データトレードオフが明らかになる。
論文参考訳（メタデータ） (2026-09-14T16:36:46Z)
Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文参考訳（メタデータ） (2026-05-30T14:29:43Z)
Hierarchical Awareness Adapters with Hybrid Pyramid Feature Fusion for Dense Depth Prediction [9.96771578356719]
既存のアプローチは、深度マップを回帰するために、ますます複雑なネットワークアーキテクチャに依存している。本論文では,Swin Transformerのバックボーン上に構築したマルチレベル条件付きランダムフィールド(CRF)モデルを提案する。本稿では,Abs Relを0.088ドル(約7.4%)に,RMSEを0.316ドル(約5.4%)に削減し,ほぼ完全なしきい値精度を実現した。
論文参考訳（メタデータ） (2026-04-03T07:59:26Z)
LACE: Loss-Adaptive Capacity Expansion for Continual Learning [0.0]
LACE(Loss-Adaptive Capacity Expansion)は、トレーニング中にモデルの表現能力を拡張するオンラインメカニズムである。 LACEはラベルもリプレイバッファも外部コントローラも必要とせず、リソース制約下でのデバイス上での継続的な学習に適している。
論文参考訳（メタデータ） (2026-03-30T15:58:33Z)
CSGaussian: Progressive Rate-Distortion Compression and Segmentation for 3D Gaussian Splatting [57.73006852239138]
本稿では,3次元ガウススプラッティングの速度歪み最適化圧縮とセグメンテーションのための最初の統一フレームワークを提案する(3DGS)。速度歪みに最適化された3DGS圧縮の最近の進歩に触発されたこの研究は、セマンティックラーニングを圧縮パイプラインに統合し、デコーダ側アプリケーションをサポートする。提案方式は暗黙的ニューラル表現に基づくハイパープライアを特徴とし,色属性と意味属性の両方の効率的なエントロピー符号化を実現する。
論文参考訳（メタデータ） (2026-01-19T08:21:45Z)
Breaking the Compression Ceiling: Data-Free Pipeline for Ultra-Efficient Delta Compression [57.71917274869577]
UltraDeltaはデータフリーのデルタ圧縮パイプラインで、超高圧縮と強力なパフォーマンスを実現する。 UltraDeltaは、冗長性を最小化し、情報を最大化し、層間、層内、大域的な寸法で性能を安定させるように設計されている。
論文参考訳（メタデータ） (2025-05-19T10:37:22Z)
MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
論文参考訳（メタデータ） (2024-08-19T01:30:14Z)
Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文参考訳（メタデータ） (2024-02-07T16:32:29Z)
Error Feedback Can Accurately Compress Preconditioners [43.60787513716217]
ディープ・ネットワークの規模での損失に関する2次情報を活用することは、ディープ・ラーニングのための電流の性能を改善するための主要なアプローチの1つである。しかし、GGT (Full-Matrix Adagrad) やM-FAC (Matrix-Free Approximate Curvature) のような、正確な完全行列プリコンディショニングのための既存のアプローチは、小規模モデルにも適用した場合に膨大なストレージコストを被る。本稿では, コンバージェンスを損なうことなく, プリコンディショナーを最大2桁圧縮できる新しい, 効率的なエラーフィードバック手法により, この問題に対処する。
論文参考訳（メタデータ） (2023-06-09T17:58:47Z)
Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文参考訳（メタデータ） (2022-12-27T12:37:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。