論文の概要: Embedding Compression with Isotropic Iterative Quantization

• arxiv url: http://arxiv.org/abs/2001.05314v2
• Date: Thu, 23 Jan 2020 01:01:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 09:27:07.084068
• Title: Embedding Compression with Isotropic Iterative Quantization
• Title（参考訳）: 等方性反復量子化による埋め込み圧縮
• Authors: Siyu Liao, Jie Chen, Yanzhi Wang, Qinru Qiu, Bo Yuan
• Abstract要約: 単語の連続表現は、ディープラーニングベースのNLPモデルの標準コンポーネントである。 埋め込みベクトルを2進数に圧縮するための等方的反復量子化(IIQ)手法を提案する。
• 参考スコア（独自算出の注目度）: 40.567720430910725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous representation of words is a standard component in deep learning-based NLP models. However, representing a large vocabulary requires significant memory, which can cause problems, particularly on resource-constrained platforms. Therefore, in this paper we propose an isotropic iterative quantization (IIQ) approach for compressing embedding vectors into binary ones, leveraging the iterative quantization technique well established for image retrieval, while satisfying the desired isotropic property of PMI based models. Experiments with pre-trained embeddings (i.e., GloVe and HDC) demonstrate a more than thirty-fold compression ratio with comparable and sometimes even improved performance over the original real-valued embedding vectors.
• Abstract（参考訳）: 単語の連続表現は、ディープラーニングベースのNLPモデルの標準コンポーネントである。 しかし、大きな語彙を表現するには大きなメモリを必要とするため、特にリソース制約のあるプラットフォームでは問題が発生する可能性がある。 そこで,本稿では,pmiベースモデルの所望の等方性に満足しつつ,画像検索によく確立された反復量子化手法を活用し,組込みベクトルをバイナリに圧縮する等方性反復量子化(iiq)手法を提案する。 事前訓練された埋め込みの実験(GloVeとHDC)は、30倍以上の圧縮比を示し、時には元の実数値埋め込みベクトルよりも性能も向上する。

関連論文リスト

• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Learning Optimal Lattice Vector Quantizers for End-to-end Neural Image Compression [16.892815659154053]
  格子ベクトル量子化(LVQ)は、機能間の依存関係をより効果的に活用できる魅力的な代替手段である。 従来のLVQ構造は、均一なソース分布のために設計・最適化されている。 本稿では,この弱点を克服するための新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-25T06:05:08Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
  畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。 従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。 これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
  論文  参考訳（メタデータ） (2023-08-08T21:38:02Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Modality-Agnostic Variational Compression of Implicit Neural Representations [96.35492043867104]
  Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。 潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。 このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
  論文  参考訳（メタデータ） (2023-01-23T15:22:42Z)
• Compression of Generative Pre-trained Language Models via Quantization [62.80110048377957]
  従来の量子化手法は, テクスモジニアス単語の埋め込みによって生成タスクに失敗することがわかった。 本稿では,区別可能な単語埋め込みを学習するためのトークンレベルのコントラスト蒸留法と,異なるモジュールに対して量子化器を適応させるモジュールワイドダイナミックスケーリングを提案する。
  論文  参考訳（メタデータ） (2022-03-21T02:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。