論文の概要: Joint-stochastic-approximation Autoencoders with Application to Semi-supervised Learning

• arxiv url: http://arxiv.org/abs/2505.18558v1
• Date: Sat, 24 May 2025 06:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.507409
• Title: Joint-stochastic-approximation Autoencoders with Application to Semi-supervised Learning
• Title（参考訳）: 共同確率近似オートエンコーダと半教師あり学習への応用
• Authors: Wenbo He, Zhijian Ou,
• Abstract要約: 深層指向生成モデル構築のための新しいアルゴリズム群であるJSAオートエンコーダを提案する。 JSA学習アルゴリズムは、データログ類似性を直接最大化し、後部モデルと推論モデルとの間の包括的KL分散を同時に最小化する。 半教師付きタスクにおいて、離散潜在空間を持つJSAオートエンコーダは、連続潜在空間を持つ他の最先端DGMと同等の性能を発揮することを実証的に示す。
• 参考スコア（独自算出の注目度）: 16.625057220045292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our examination of existing deep generative models (DGMs), including VAEs and GANs, reveals two problems. First, their capability in handling discrete observations and latent codes is unsatisfactory, though there are interesting efforts. Second, both VAEs and GANs optimize some criteria that are indirectly related to the data likelihood. To address these problems, we formally present Joint-stochastic-approximation (JSA) autoencoders - a new family of algorithms for building deep directed generative models, with application to semi-supervised learning. The JSA learning algorithm directly maximizes the data log-likelihood and simultaneously minimizes the inclusive KL divergence the between the posteriori and the inference model. We provide theoretical results and conduct a series of experiments to show its superiority such as being robust to structure mismatch between encoder and decoder, consistent handling of both discrete and continuous variables. Particularly we empirically show that JSA autoencoders with discrete latent space achieve comparable performance to other state-of-the-art DGMs with continuous latent space in semi-supervised tasks over the widely adopted datasets - MNIST and SVHN. To the best of our knowledge, this is the first demonstration that discrete latent variable models are successfully applied in the challenging semi-supervised tasks.
• Abstract（参考訳）: VAE と GAN を含む既存の深部生成モデル (DGM) について検討した結果, 2 つの問題点が判明した。 まず、離散的な観察と遅延コードを扱う能力は満足できないが、興味深い取り組みがある。 第2に、VAEとGANはデータ可能性に間接的に関係するいくつかの基準を最適化する。 これらの問題に対処するために、我々は、半教師付き学習に応用した、深層指向生成モデルを構築するための新しいアルゴリズムのファミリーであるJSAオートエンコーダを正式に提示する。 JSA学習アルゴリズムは、データログ類似性を直接最大化し、後部モデルと推論モデルとの間の包括的KL分散を同時に最小化する。 理論的な結果を提供し、エンコーダとデコーダのミスマッチに頑健であり、離散変数と連続変数の両方を一貫した処理を行うなど、その優位性を示す一連の実験を行う。 特に、離散遅延空間を持つJSAオートエンコーダは、広く採用されているデータセットであるMNISTとSVHNの半教師付きタスクにおいて、連続遅延空間を持つ他の最先端DGMに匹敵する性能を実証的に示す。 我々の知る限りでは、これは離散潜在変数モデルが挑戦的な半教師付きタスクにうまく適用される最初の実演である。

関連論文リスト

• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Language as a Latent Sequence: deep latent variable models for semi-supervised paraphrase generation [47.33223015862104]
  本稿では,観測されたテキストから遅延シーケンス推論を行うVSARという新しい教師なしモデルを提案する。 また、テキストペアからの情報を活用するために、提案したVSARモデルと統合するために設計されたDDLと呼ばれる新しい教師付きモデルを導入する。 実験により, このモデルを組み合わせることで, 完全データに基づく最先端の教師付きベースラインに対して, 競争性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-01-05T19:35:30Z)
• Advancing Semi-Supervised Task Oriented Dialog Systems by JSA Learning of Discrete Latent Variable Models [22.249113574918034]
  JSA-TODは、離散潜在変数条件モデルの半教師付き学習を開発するための最初の成果である。 実験の結果、JSA-TODは変分学習よりもかなり優れていた。
  論文  参考訳（メタデータ） (2022-07-25T14:36:10Z)
• Learning Mixtures of Linear Dynamical Systems [94.49754087817931]
  そこで我々は,2段階のメタアルゴリズムを開発し,各基底構造LPSモデルを誤り$tildeO(sqrtd/T)$.sqrtd/T)まで効率的に復元する。 提案手法の有効性を検証し,数値実験による理論的研究を検証する。
  論文  参考訳（メタデータ） (2022-01-26T22:26:01Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Differential Privacy and Byzantine Resilience in SGD: Do They Add Up? [6.614755043607777]
  本研究では,差分プライバシ(DP)と$(alpha,f)$-ビザンチンレジリエンスを併用して,SGD(Gradient Descent)学習アルゴリズムの分散実装が実現可能であるかを検討する。 これらの手法の直接的な構成は、結果のSGDアルゴリズムがMLモデルのパラメータ数に依存することを保証していることを示す。
  論文  参考訳（メタデータ） (2021-02-16T14:10:38Z)
• Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
  本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。 本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
  論文  参考訳（メタデータ） (2020-05-08T21:32:42Z)
• SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection [63.253850875265115]
  外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。 そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
  論文  参考訳（メタデータ） (2020-03-11T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。