論文の概要: Masked Generative Modeling with Enhanced Sampling Scheme

• arxiv url: http://arxiv.org/abs/2309.07945v1
• Date: Thu, 14 Sep 2023 09:42:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 17:16:34.270969
• Title: Masked Generative Modeling with Enhanced Sampling Scheme
• Title（参考訳）: 拡張サンプリングスキームを用いたマスク生成モデル
• Authors: Daesoo Lee, Erlend Aune, and Sara Malacarne
• Abstract要約: 拡張サンプリングスキーム(ESS)は、サンプルの多様性と忠実さの両方を保証する。 ESSは、Naive Iterative Decoding、Critical Reverse Smpling、Critical Resamplingの3つのステージで構成されている。 非条件サンプリングとクラス条件サンプリングの両方において、ESSの大幅な性能向上を示す。
• 参考スコア（独自算出の注目度）: 1.3927943269211591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel sampling scheme for masked non-autoregressive generative modeling. We identify the limitations of TimeVQVAE, MaskGIT, and Token-Critic in their sampling processes, and propose Enhanced Sampling Scheme (ESS) to overcome these limitations. ESS explicitly ensures both sample diversity and fidelity, and consists of three stages: Naive Iterative Decoding, Critical Reverse Sampling, and Critical Resampling. ESS starts by sampling a token set using the naive iterative decoding as proposed in MaskGIT, ensuring sample diversity. Then, the token set undergoes the critical reverse sampling, masking tokens leading to unrealistic samples. After that, critical resampling reconstructs masked tokens until the final sampling step is reached to ensure high fidelity. Critical resampling uses confidence scores obtained from a self-Token-Critic to better measure the realism of sampled tokens, while critical reverse sampling uses the structure of the quantized latent vector space to discover unrealistic sample paths. We demonstrate significant performance gains of ESS in both unconditional sampling and class-conditional sampling using all the 128 datasets in the UCR Time Series archive.
• Abstract（参考訳）: 本稿では,マスキング非自己回帰生成モデルのための新しいサンプリング手法を提案する。 サンプリングプロセスにおけるTimeVQVAE, MaskGIT, Token-Criticの限界を特定し, これらの制限を克服するための拡張サンプリングスキーム(ESS)を提案する。 essは、サンプルの多様性と忠実性の両方を明示的に保証し、naive iteration decoding、 critical reverse sampling、 critical resamplingの3段階からなる。 ESSは、MaskGITで提案されているように、単純反復デコーディングを使用してトークンセットのサンプリングから始まり、サンプルの多様性を保証する。 そして、トークンセットは臨界逆サンプリングを行い、非現実的なサンプルにつながるトークンをマスキングする。 その後、臨界再サンプリングは、最終サンプリング段階に到達するまでマスクされたトークンを再構成し、高い忠実性を確保する。 クリティカルリサンプリングでは、自己Token-Criticから得られた信頼スコアを使用してサンプルトークンのリアリズムをよりよく測定し、クリティカルリバースサンプリングでは量子化された潜在ベクトル空間の構造を用いて非現実的なサンプルパスを発見する。 ucr時系列アーカイブ内の全128データセットを用いて,無条件サンプリングとクラス条件サンプリングの両方において,essの性能向上を示す。

関連論文リスト

• Quasi-random Multi-Sample Inference for Large Language Models [1.647759094903376]
  大規模言語モデル(LLM)は、しばしばマルチサンプルデコード戦略を備えている。 ビームサーチやサンプリングベース技術のような従来のテキスト生成手法には、顕著な制限がある。 本研究では,算術的サンプリングの可能性について検討し,祖先的サンプリングと対比する。
  論文  参考訳（メタデータ） (2024-11-09T18:55:04Z)
• Autoregressive Speech Synthesis without Vector Quantization [135.4776759536272]
  テキストから音声合成(TTS)のための新しい連続値トークンに基づく言語モデリング手法であるMELLEを提案する。 MELLEはテキスト条件から直接連続メル-スペクトログラムフレームを自動回帰生成する。
  論文  参考訳（メタデータ） (2024-07-11T14:36:53Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Sampling From Autoencoders' Latent Space via Quantization And Probability Mass Function Concepts [1.534667887016089]
  本稿では,確率質量関数の概念に根ざした新しい学習後サンプリングアルゴリズムと量子化プロセスを紹介する。 提案アルゴリズムは,入力データから各潜伏ベクトルの近傍を定め,その近傍からサンプルを抽出する。 この戦略的なアプローチは、サンプル化された潜伏ベクトルが主に高確率領域に居住することを保証する。
  論文  参考訳（メタデータ） (2023-08-21T13:18:12Z)
• Conditional Sampling of Variational Autoencoders via Iterated Approximate Ancestral Sampling [7.357511266926065]
  変分オートエンコーダ(VAE)の条件付きサンプリングは、データ計算の欠如など、様々なアプリケーションで必要とされるが、計算上は難解である。 基本的条件付きサンプリングはMetropolis-within-Gibbs (MWG)である
  論文  参考訳（メタデータ） (2023-08-17T16:08:18Z)
• Adaptive Siamese Tracking with a Compact Latent Network [219.38172719948048]
  追跡タスクを分類に変換することで,シームズをベースとしたトラッカーを簡易化する直感的なビューを提供する。 そこで本研究では,視覚シミュレーションと実追跡例を用いて,詳細な解析を行う。 そこで我々は,古典的なSiamRPN++,SiamFC,SiamBANの3つのトラッカーを調整した。
  論文  参考訳（メタデータ） (2023-02-02T08:06:02Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• Hardness of Samples Is All You Need: Protecting Deep Learning Models Using Hardness of Samples [1.2074552857379273]
  モデル抽出攻撃の硬度度は, 正常試料の硬度度と区別可能であることを示す。 本稿では,モデル抽出攻撃のサンプルシーケンスを検出するために,Hardness-Oriented Detection Approach (HODA)を提案する。
  論文  参考訳（メタデータ） (2021-06-21T22:03:31Z)
• iNNformant: Boundary Samples as Telltale Watermarks [68.8204255655161]
  4つの試験されたマイクロアーキテクチャのいずれかを識別できる境界サンプルの集合を生成することができることを示す。 これらのセットは70dBよりも悪いピーク信号-雑音比のサンプルを含まないように構築することができる。
  論文  参考訳（メタデータ） (2021-06-14T11:18:32Z)
• Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior [53.69310441063162]
  本稿では,より自然な音響サンプルを生成できる離散潜在空間における逐次前処理を提案する。 本研究では,聴取試験,自動音声認識(ASR)性能の客観的指標,韻律特性の測定によるアプローチの評価を行った。
  論文  参考訳（メタデータ） (2020-02-06T12:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。