論文の概要: Balance of Number of Embedding and their Dimensions in Vector Quantization

• arxiv url: http://arxiv.org/abs/2407.04939v1
• Date: Sat, 6 Jul 2024 03:07:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 21:57:27.479662
• Title: Balance of Number of Embedding and their Dimensions in Vector Quantization
• Title（参考訳）: ベクトル量子化における埋め込み数と次元のバランス
• Authors: Hang Chen, Sankepally Sainath Reddy, Ziwei Chen, Dianbo Liu,
• Abstract要約: 本研究では,Vector Quantized Variational Autoencoder (VQ-VAE)アーキテクチャにおけるコードブックサイズと埋め込み寸法のバランスについて検討した。 本稿では,Gumbel-Softmax機構を基盤とした適応的動的量子化手法を提案する。
• 参考スコア（独自算出の注目度）: 11.577770138594436
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The dimensionality of the embedding and the number of available embeddings ( also called codebook size) are critical factors influencing the performance of Vector Quantization(VQ), a discretization process used in many models such as the Vector Quantized Variational Autoencoder (VQ-VAE) architecture. This study examines the balance between the codebook sizes and dimensions of embeddings in VQ, while maintaining their product constant. Traditionally, these hyper parameters are static during training; however, our findings indicate that augmenting the codebook size while simultaneously reducing the embedding dimension can significantly boost the effectiveness of the VQ-VAE. As a result, the strategic selection of codebook size and embedding dimensions, while preserving the capacity of the discrete codebook space, is critically important. To address this, we propose a novel adaptive dynamic quantization approach, underpinned by the Gumbel-Softmax mechanism, which allows the model to autonomously determine the optimal codebook configuration for each data instance. This dynamic discretizer gives the VQ-VAE remarkable flexibility. Thorough empirical evaluations across multiple benchmark datasets validate the notable performance enhancements achieved by our approach, highlighting the significant potential of adaptive dynamic quantization to improve model performance.
• Abstract（参考訳）: 埋め込みの次元と利用可能な埋め込み数(コードブックサイズとも呼ばれる)はベクトル量子化(VQ)の性能に影響を与える重要な要因であり、ベクトル量子化変分オートエンコーダ(VQ-VAE)アーキテクチャのような多くのモデルで使われる離散化プロセスである。 本研究は,製品定数を維持しつつ,VQにおけるコードブックサイズと埋め込み寸法のバランスについて検討する。 従来,これらのハイパーパラメータはトレーニング中は静的であるが,コードブックサイズを増大させると同時に埋め込み次元を小さくすることで,VQ-VAEの有効性を著しく向上させる可能性が示唆された。 結果として、離散的なコードブック空間の容量を保ちながら、コードブックサイズと埋め込み次元の戦略的選択が重要である。 そこで本研究では,Gumbel-Softmax機構を基盤とした適応型動的量子化手法を提案する。 この動的離散化器は、VQ-VAEに顕著な柔軟性を与える。 複数のベンチマークデータセットにまたがる実験的な評価は、我々のアプローチによって達成された顕著な性能向上を実証し、モデル性能を改善するための適応的動的量子化の有意義な可能性を強調した。

関連論文リスト

• Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior [5.862123282894087]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)を導入する。 VQ-VAEは、離散埋め込みを潜時として使用する変分オートエンコーダの一種である。 GM-VQは,手工芸品に頼らずに,コードブックの利用率を向上し,情報損失を低減する。
  論文  参考訳（メタデータ） (2024-10-14T05:58:11Z)
• SmartQuant: CXL-based AI Model Store in Support of Runtime Configurable Weight Quantization [14.141233153682876]
  近年の研究では、生成的AIモデルに対する推論において、異なる重みの重要性が文脈依存的な変化を示すことが明らかになっている。 これは自然に、生成するAI推論効率を改善するために、ウェイト量子化を適応的に設定する有望な可能性を示す。 急速に成熟したCXLエコシステムに動機づけられたこの研究は、このギャップを埋めるためのCXLベースの設計ソリューションを開発する。
  論文  参考訳（メタデータ） (2024-07-17T20:39:49Z)
• Trajectory Forecasting through Low-Rank Adaptation of Discrete Latent Codes [36.12653178844828]
  トラジェクトリ予測は、一連のエージェントの将来の動きを予測できるため、ビデオ監視分析に不可欠である。 本稿では,離散潜在空間を用いたベクトル量子変分オートエンコーダ(VQ-VAEs)を導入し,後方崩壊問題に対処する。 このような2段階のフレームワークは、インスタンスレベルの離散化によって強化され、正確で多様な予測につながることを示す。
  論文  参考訳（メタデータ） (2024-05-31T10:13:17Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
  ベクトル量子化(HyperVQ)における双曲空間の利用について検討する。 本稿では,高VQが識別タスクにおいてVQを上回り,高度に絡み合った潜在空間を学習しながら,再建作業や生成作業において相容れない性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-03-18T03:17:08Z)
• WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More [55.0856305773081]
  大規模言語モデル (LLM) は、そのメモリ要求と自動回帰テキスト生成プロセスの計算要求のために、重要なデプロイメント課題に直面している。 本稿では、モデルパラメータとアクティベーションを低ビット整数に変換することでメモリ消費を低減する手法であるLCMの量子化に着目し、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-02-19T11:33:21Z)
• HQ-VAE: Hierarchical Discrete Representation Learning with Variational Bayes [18.57499609338579]
  本稿では,階層的量子化変分オートエンコーダ(HQ-VAE)と呼ばれる,変分ベイズフレームワークに基づく階層的離散表現学習フレームワークを提案する。 HQ-VAEはVQ-VAE-2や残留量子化VAE(RQ-VAE)のようなVQ-VAEの階層的変種を自然に一般化する 画像データセットに関する総合的な実験により、HQ-VAEはコードブックの使用率を高め、再構築性能を向上させることが示された。
  論文  参考訳（メタデータ） (2023-12-31T01:39:38Z)
• Non-Separable Multi-Dimensional Network Flows for Visual Computing [62.50191141358778]
  本研究では,非分離型多次元ネットワークフローに対する新しい定式化法を提案する。 フローは次元ごとに定義されるので、最大化フローは自動的に最適な特徴次元を選択する。 概念実証として,マルチオブジェクト追跡問題にフォーマリズムを適用し,ノイズに対するロバスト性の観点からMOT16ベンチマークのスカラー定式化よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-15T13:21:44Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。