論文の概要: Robust Vector Quantized-Variational Autoencoder

• arxiv url: http://arxiv.org/abs/2202.01987v1
• Date: Fri, 4 Feb 2022 05:51:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-07 14:36:30.028516
• Title: Robust Vector Quantized-Variational Autoencoder
• Title（参考訳）: ロバストベクトル量子化可変オートエンコーダ
• Authors: Chieh-Hsin Lai, Dongmian Zou, Gilad Lerman
• Abstract要約: VQ-VAE(Vector Quantized-Variational AutoEncoder)に基づくロバストな生成モデルを提案する。 堅牢性を達成するため、RVQ-VAEは2つの別個のコードブックをインチラシとアウトチラシに使用する。 RVQ-VAEは、トレーニングデータポイントの大部分を破損しても、インレーヤからサンプルを生成可能であることを実験的に実証した。
• 参考スコア（独自算出の注目度）: 13.664682865991255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image generative models can learn the distributions of the training data and consequently generate examples by sampling from these distributions. However, when the training dataset is corrupted with outliers, generative models will likely produce examples that are also similar to the outliers. In fact, a small portion of outliers may induce state-of-the-art generative models, such as Vector Quantized-Variational AutoEncoder (VQ-VAE), to learn a significant mode from the outliers. To mitigate this problem, we propose a robust generative model based on VQ-VAE, which we name Robust VQ-VAE (RVQ-VAE). In order to achieve robustness, RVQ-VAE uses two separate codebooks for the inliers and outliers. To ensure the codebooks embed the correct components, we iteratively update the sets of inliers and outliers during each training epoch. To ensure that the encoded data points are matched to the correct codebooks, we quantize using a weighted Euclidean distance, whose weights are determined by directional variances of the codebooks. Both codebooks, together with the encoder and decoder, are trained jointly according to the reconstruction loss and the quantization loss. We experimentally demonstrate that RVQ-VAE is able to generate examples from inliers even if a large portion of the training data points are corrupted.
• Abstract（参考訳）: 画像生成モデルは、トレーニングデータの分布を学習し、これらの分布からサンプリングしてサンプルを生成することができる。 しかし、トレーニングデータセットが外れ値で破損した場合、生成モデルは外れ値に類似した例を生成する可能性が高い。 実際、外れ値のごく一部は、Vector Quantized-Variational AutoEncoder (VQ-VAE)のような最先端の生成モデルを誘導し、外れ値から重要なモードを学ぶことができる。 この問題を軽減するために,ロバストVQ-VAE (RVQ-VAE) という,VQ-VAEに基づく堅牢な生成モデルを提案する。 堅牢性を達成するため、rvq-vaeは2つのコードブックをインリアーとアウトリアーに使用する。 コードブックに正しいコンポーネントを埋め込むことを確実にするため、各トレーニング時代のイナリアとイナリアのセットを反復的に更新します。 符号化されたデータポイントが正しいコードブックと一致していることを保証するために、重み付きユークリッド距離を用いて定量化を行い、その重みはコードブックの方向のばらつきによって決定される。 両コードブックは、エンコーダとデコーダと共に、復元損失と量子化損失に応じて共同で訓練される。 トレーニングデータポイントの大部分が破損しても,RVQ-VAEはインレーヤからサンプルを生成することができることを示す。

関連論文リスト

• Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior [5.862123282894087]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)を導入する。 VQ-VAEは、離散埋め込みを潜時として使用する変分オートエンコーダの一種である。 GM-VQは,手工芸品に頼らずに,コードブックの利用率を向上し,情報損失を低減する。
  論文  参考訳（メタデータ） (2024-10-14T05:58:11Z)
• EdVAE: Mitigating Codebook Collapse with Evidential Discrete Variational Autoencoders [11.086500036180222]
  コードブックの崩壊は、離散表現空間を持つ深層生成モデルの訓練において一般的な問題である。 本稿では,dVAEのコードブック崩壊問題に対処するために,ソフトマックスの代わりに顕在的深層学習(EDL)を組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-09T13:39:26Z)
• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Robust Variational Autoencoder for Tabular Data with Beta Divergence [0.0]
  本稿では,連続的特徴と分類的特徴を混合した頑健な変動型オートエンコーダを提案する。 ネットワークトラフィックデータセットの異常検出アプリケーションについて,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2020-06-15T08:09:34Z)
• Robust Training of Vector Quantized Bottleneck Models [21.540133031071438]
  ベクトル量子変分自動エンコーダモデル(VQ-VAEs)を用いた離散表現の信頼性と効率的な訓練法を示す。 教師なし表現学習では、変分オートエンコーダ(VAE)のような連続潜伏変数モデルの代替となる。
  論文  参考訳（メタデータ） (2020-05-18T08:23:41Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。