Fugu-MT 論文翻訳(概要): Embedding Compression via Spherical Coordinates

論文の概要: Embedding Compression via Spherical Coordinates

arxiv url: http://arxiv.org/abs/2602.00079v2
Date: Tue, 03 Feb 2026 04:41:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-09 02:03:42.341984
Title: Embedding Compression via Spherical Coordinates
Title（参考訳）: 球面座標による埋め込み圧縮
Authors: Han Xiao,
Abstract要約: この手法は、高次元単位ベクトルの球面座標が約$/2$に集中し、IEEE 754指数が1つの値に崩壊し、高次マティーサビットが予測可能となる。テキスト、イメージ、マルチベクタの埋め込みにまたがる26のコンフィグレーションに対する評価は、一貫した改善である。
参考スコア（独自算出の注目度）: 5.943245848892104
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We present a compression method for unit-norm embeddings that achieves 1.5$\times$ compression, 25% better than the best prior lossless method. The method exploits that spherical coordinates of high-dimensional unit vectors concentrate around $π/2$, causing IEEE 754 exponents to collapse to a single value and high-order mantissa bits to become predictable, enabling entropy coding of both. Reconstruction error is below 1e-7, under float32 machine epsilon. Evaluation across 26 configurations spanning text, image, and multi-vector embeddings confirms consistent improvement.
Abstract（参考訳）: 本稿では,1.5$\times$圧縮を実現する単位ノルム埋め込みの圧縮法を提案する。この手法は、高次元単位ベクトルの球面座標が約$π/2$に集中し、IEEE 754指数が1つの値に崩壊し、高次マティーサビットが予測可能となり、両方のエントロピー符号化が可能となる。レコンストラクションエラーはfloat32マシン・エプシロンの下で1e-7以下である。テキスト、イメージ、マルチベクタの埋め込みにまたがる26のコンフィグレーションに対する評価は、一貫した改善である。

関連論文リスト

Dimension vs. Precision: A Comparative Analysis of Autoencoders and Quantization for Efficient Vector Retrieval on BEIR SciFact [0.0]
Int8量子化は最も効果的な「スイートスポット」を提供し、nDCG@10の無視可能な[1-2%]ドロップで4倍の圧縮を達成する。オートエンコーダは優雅な劣化を示すが、同等の4倍圧縮比でより大きな性能損失を被る。バイナリ量子化は破滅的な性能低下のためこの作業には適さないことが分かりました
論文参考訳（メタデータ） (2025-11-17T07:02:11Z)
Distribution-Aware Tensor Decomposition for Compression of Convolutional Neural Networks [4.322339935902436]
テンソル化と低ランク表現による圧縮に焦点を当てる。関数空間の誤差を測定するために、データインフォームドノルムを使用します。従来の圧縮パイプラインとは異なり、データインフォームドアプローチは微調整なしで競争精度を達成できることが多い。
論文参考訳（メタデータ） (2025-11-06T16:15:15Z)
Breaking the Compression Ceiling: Data-Free Pipeline for Ultra-Efficient Delta Compression [57.71917274869577]
UltraDeltaはデータフリーのデルタ圧縮パイプラインで、超高圧縮と強力なパフォーマンスを実現する。 UltraDeltaは、冗長性を最小化し、情報を最大化し、層間、層内、大域的な寸法で性能を安定させるように設計されている。
論文参考訳（メタデータ） (2025-05-19T10:37:22Z)
Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文参考訳（メタデータ） (2024-02-07T16:32:29Z)
KrADagrad: Kronecker Approximation-Domination Gradient Preconditioned Stochastic Optimization [69.47358238222586]
第2の順序付けにより、パラメータのステップサイズと方向を変更でき、損失曲率に適応できる。最近、シャンプーはこれらの要求を減らすためにクローネッカーファクター付きプレコンディショナーを導入した。不条件行列の逆行列根を取る。これは64ビットの精度が必要で、ハードウェアの制約が強い。
論文参考訳（メタデータ） (2023-05-30T21:15:45Z)
Learning Low-Rank Representations for Model Compression [6.721845345130468]
本稿では,従来のVQアルゴリズムを様々なタスクやアーキテクチャで上回る低ランク表現ベクトル量子化(textLR2textVQ$)手法を提案する。本手法では,圧縮率を直接$m$で制御することができ,最終的な精度は$tilded$で決定される。適切な$tilded$で、ImageNet分類データセット上でResNet-18/ResNet-50で$textLR2textVQ$を評価します。
論文参考訳（メタデータ） (2022-11-21T12:15:28Z)
Partition and Code: learning how to compress graphs [50.29024357495154]
まず、分割アルゴリズムがグラフを基本構造に分解し、これらを確率分布を学習する小さな辞書の要素にマッピングし、エントロピーエンコーダが表現をビットに変換する。提案アルゴリズムは,非パラメトリックおよびパラメトリックグラフ圧縮器の異なるファミリーに対して,多種多様な実世界のネットワーク上で定量的に評価し,大幅な性能向上を実現している。
論文参考訳（メタデータ） (2021-07-05T11:41:16Z)
Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文参考訳（メタデータ） (2021-05-24T12:07:38Z)
Deep Learning Meets Projective Clustering [66.726500395069]
NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
論文参考訳（メタデータ） (2020-10-08T22:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。