論文の概要: Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization

• arxiv url: http://arxiv.org/abs/2310.03004v1
• Date: Wed, 4 Oct 2023 17:45:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 13:27:14.652518
• Title: Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization
• Title（参考訳）: ソフト凸量子化:凸最適化によるベクトル量子化の再検討
• Authors: Tanmay Gautam, Reid Pryzant, Ziyi Yang, Chenguang Zhu, Somayeh Sojoudi
• Abstract要約: ベクトル量子化(VQ)の直接代用として,ソフト凸量子化(SCQ)を提案する。 SCQは微分凸最適化(DCO)層のように機能する。 CIFAR-10, GTSRB, LSUNデータセット上での有効性を示す。
• 参考スコア（独自算出の注目度）: 40.1651740183975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vector Quantization (VQ) is a well-known technique in deep learning for extracting informative discrete latent representations. VQ-embedded models have shown impressive results in a range of applications including image and speech generation. VQ operates as a parametric K-means algorithm that quantizes inputs using a single codebook vector in the forward pass. While powerful, this technique faces practical challenges including codebook collapse, non-differentiability and lossy compression. To mitigate the aforementioned issues, we propose Soft Convex Quantization (SCQ) as a direct substitute for VQ. SCQ works like a differentiable convex optimization (DCO) layer: in the forward pass, we solve for the optimal convex combination of codebook vectors that quantize the inputs. In the backward pass, we leverage differentiability through the optimality conditions of the forward solution. We then introduce a scalable relaxation of the SCQ optimization and demonstrate its efficacy on the CIFAR-10, GTSRB and LSUN datasets. We train powerful SCQ autoencoder models that significantly outperform matched VQ-based architectures, observing an order of magnitude better image reconstruction and codebook usage with comparable quantization runtime.
• Abstract（参考訳）: ベクトル量子化(VQ)は情報的離散潜在表現を抽出する深層学習においてよく知られている手法である。 VQ埋め込みモデルは、画像生成や音声生成を含む様々なアプリケーションにおいて印象的な結果を示している。 VQは、フォワードパスの単一のコードブックベクトルを使用して入力を定量化するパラメトリックK平均アルゴリズムとして動作する。 この技術は強力だが、コードブックの崩壊、非微分可能性、圧縮の損失といった現実的な課題に直面している。 上記の問題を緩和するため,VQの直接代用としてソフト凸量子化(SCQ)を提案する。 scqは微分可能な凸最適化(dco)層のように動作する: 前方パスでは、入力を量子化するコードブックベクトルの最適な凸結合を解決します。 後方通過では、前方解の最適条件を通じて微分可能性を利用する。 次に、SCQ最適化のスケーラブルな緩和を導入し、CIFAR-10, GTSRB, LSUNデータセット上での有効性を示す。 SCQオートエンコーダモデルをトレーニングし、VQベースのアーキテクチャに匹敵する性能を実現し、画像再構成とコードブックの利用を同等の量子化ランタイムで観測する。

関連論文リスト

• HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
  ベクトル量子化(HyperVQ)における双曲空間の利用について検討する。 本稿では,高VQが識別タスクにおいてVQを上回り,高度に絡み合った潜在空間を学習しながら,再建作業や生成作業において相容れない性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-03-18T03:17:08Z)
• Finite Scalar Quantization: VQ-VAE Made Simple [26.351016719675766]
  我々は、VQ-VAEの潜在表現におけるベクトル量子化(VQ)を、有限スカラー量子化(FSQ)と呼ばれる単純なスキームで置き換えることを提案する。 それぞれの次元と値の数を適切に選択することにより、VQと同じコードブックサイズが得られる。 画像生成にはFSQとMaskGIT,深度推定にはUViMを用いる。
  論文  参考訳（メタデータ） (2023-09-27T09:13:40Z)
• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)
• LVQAC: Lattice Vector Quantization Coupled with Spatially Adaptive Companding for Efficient Learned Image Compression [24.812267280543693]
  本稿では,空間適応型コンパウンディング(LVQAC)マッピングを併用した新しい格子ベクトル量子化方式を提案する。 エンドツーエンドのCNN画像圧縮モデルでは、一様量子化器をLVQACで置き換えることにより、モデルの複雑さを大幅に増大させることなく、より優れたレート歪み性能が得られる。
  論文  参考訳（メタデータ） (2023-03-25T23:34:15Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• VQFR: Blind Face Restoration with Vector-Quantized Dictionary and Parallel Decoder [83.63843671885716]
  本稿では,VQFRを用いた顔復元手法を提案する。 VQFRは高品質な顔から抽出された高品質の低レベル特徴バンクを利用する。 VQコードブックから生成されたリアルな詳細を「汚染」せず、入力から低レベルな特徴をさらに融合させるため、並列デコーダを提案する。
  論文  参考訳（メタデータ） (2022-05-13T17:54:40Z)
• Autoregressive Image Generation using Residual Quantization [40.04085054791994]
  本稿では,高解像度画像を生成するための2段階のフレームワークを提案する。 フレームワークはResidual-Quantized VAE (RQ-VAE)とRQ-Transformerで構成されている。 提案手法は,高画質画像を生成するために,従来のARモデルよりもはるかに高速なサンプリング速度を有する。
  論文  参考訳（メタデータ） (2022-03-03T11:44:46Z)
• Scaling Quantum Approximate Optimization on Near-term Hardware [49.94954584453379]
  我々は、様々なレベルの接続性を持つハードウェアアーキテクチャのための最適化回路により、期待されるリソース要求のスケーリングを定量化する。 問題の大きさと問題グラフの次数で指数関数的に増大する。 これらの問題は、ハードウェア接続性の向上や、より少ない回路層で高い性能を達成するQAOAの変更によって緩和される可能性がある。
  論文  参考訳（メタデータ） (2022-01-06T21:02:30Z)
• Classically optimal variational quantum algorithms [0.0]
  変分量子アルゴリズム(VQA)のようなハイブリッド量子古典アルゴリズムは、NISQコンピュータ上での実装に適している。 このレターでは、VQAの暗黙的なステップを拡張します。古典的なプリ計算サブルーチンは、古典的なアルゴリズムを非自明に使用して、問題インスタンス固有の変動量子回路を単純化、変換、特定することができます。
  論文  参考訳（メタデータ） (2021-03-31T13:33:38Z)
• Layer VQE: A Variational Approach for Combinatorial Optimization on Noisy Quantum Computers [5.644434841659249]
  変分量子固有解法(VQE)に触発された反復層VQE(L-VQE)アプローチを提案する。 L-VQE は有限サンプリング誤差に対してより堅牢であり,標準的な VQE 手法と比較して解を見つける確率が高いことを示す。 シミュレーションの結果,L-VQEは現実的なハードウェアノイズ下では良好に動作していることがわかった。
  論文  参考訳（メタデータ） (2021-02-10T16:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。