論文の概要: Regularized Vector Quantization for Tokenized Image Synthesis

• arxiv url: http://arxiv.org/abs/2303.06424v2
• Date: Sat, 14 Oct 2023 06:17:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 06:00:08.934346
• Title: Regularized Vector Quantization for Tokenized Image Synthesis
• Title（参考訳）: トークン化画像合成のための正規化ベクトル量子化
• Authors: Jiahui Zhang, Fangneng Zhan, Christian Theobalt, Shijian Lu
• Abstract要約: 画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 126.96880843754066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantizing images into discrete representations has been a fundamental problem in unified generative modeling. Predominant approaches learn the discrete representation either in a deterministic manner by selecting the best-matching token or in a stochastic manner by sampling from a predicted distribution. However, deterministic quantization suffers from severe codebook collapse and misalignment with inference stage while stochastic quantization suffers from low codebook utilization and perturbed reconstruction objective. This paper presents a regularized vector quantization framework that allows to mitigate above issues effectively by applying regularization from two perspectives. The first is a prior distribution regularization which measures the discrepancy between a prior token distribution and the predicted token distribution to avoid codebook collapse and low codebook utilization. The second is a stochastic mask regularization that introduces stochasticity during quantization to strike a good balance between inference stage misalignment and unperturbed reconstruction objective. In addition, we design a probabilistic contrastive loss which serves as a calibrated metric to further mitigate the perturbed reconstruction objective. Extensive experiments show that the proposed quantization framework outperforms prevailing vector quantization methods consistently across different generative models including auto-regressive models and diffusion models.
• Abstract（参考訳）: 画像の離散表現への量子化は、統一生成モデリングにおける根本的な問題である。 先行的アプローチは、ベストマッチトークンを選択して決定論的に、あるいは予測された分布からサンプリングして確率的に、離散表現を学習する。 しかし、決定論的量子化は、厳密なコードブックの崩壊と推論段階との不一致に悩まされ、確率的量子化は、低いコードブック利用と摂動的再構成の目的に悩まされる。 本稿では,2つの視点から正規化を適用することで,上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。 1つ目は、コードブックの崩壊やコードブックの利用率の低下を避けるために、先行トークン分布と予測トークン分布とのずれを測定する事前分布正規化である。 2つ目は確率マスクの正規化であり、量子化中に確率性を導入し、推論段階のミスアライメントと未摂動再建目標とのバランスを良くする。 さらに, キャリブレーション指標として機能する確率的コントラスト損失を設計し, 摂動再建の目的をさらに緩和する。 拡張実験により、提案手法は自己回帰モデルや拡散モデルを含む様々な生成モデルにおいて、ベクトル量子化法を一貫して上回ることを示した。

関連論文リスト

• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• On Uniform Scalar Quantization for Learned Image Compression [17.24702997651976]
  その結果,サロゲートとラウンドリングの相違が列車のミスマッチの原因となり,サロゲートによる勾配推定のリスクが生じた。 解析により,推定量化潜在分布の分散に対する適切な下限を設定することで,列車のミスマッチを効果的に低減する2つの微妙なトリックが明らかになった。 本手法は,様々な画像圧縮ネットワークにおいて,従来の量子化サロゲートよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-29T08:23:36Z)
• Towards Accurate Post-training Quantization for Diffusion Models [73.19871905102545]
  本稿では,効率的な画像生成のための拡散モデル(ADP-DM)の高精度なデータフリーポストトレーニング量子化フレームワークを提案する。 提案手法は, 拡散モデルの学習後の量子化を, 同様の計算コストで, 非常に大きなマージンで高速化する。
  論文  参考訳（メタデータ） (2023-05-30T04:00:35Z)
• Bayesian Quantification with Black-Box Estimators [1.599072005190786]
  調整された分類と数、ブラックボックスシフト推定器、不変比推定器などのアプローチでは、クラス分布を推定し、弱い仮定の下で保証を得る補助的(および潜在的に偏りのある)ブラックボックス分類器を用いる。 これら全てのアルゴリズムが特定のベイズ連鎖モデルにおける推論と密接に関連していることを示し、仮定された基底構造生成過程を近似する。 次に,導入モデルに対する効率的なマルコフ・モンテカルロサンプリング手法について検討し,大容量データ限界における一貫性の保証を示す。
  論文  参考訳（メタデータ） (2023-02-17T22:10:04Z)
• On double-descent in uncertainty quantification in overparametrized models [24.073221004661427]
  不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。 最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。 これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
  論文  参考訳（メタデータ） (2022-10-23T16:01:08Z)
• Fast Estimation of Bayesian State Space Models Using Amortized Simulation-Based Inference [0.0]
  本稿では,ベイズ状態空間モデルの隠れ状態を推定するための高速アルゴリズムを提案する。 事前トレーニングの後、データセットの後方分布を見つけるには、100分の1秒から10分の1秒かかる。
  論文  参考訳（メタデータ） (2022-10-13T16:37:05Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Deblurring via Stochastic Refinement [85.42730934561101]
  条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。 提案手法は,PSNRなどの歪み指標の点で競合する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:09Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。