論文の概要: Deep Discrete Encoders: Identifiable Deep Generative Models for Rich Data with Discrete Latent Layers

• arxiv url: http://arxiv.org/abs/2501.01414v1
• Date: Thu, 02 Jan 2025 18:56:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:15:36.164222
• Title: Deep Discrete Encoders: Identifiable Deep Generative Models for Rich Data with Discrete Latent Layers
• Title（参考訳）: ディープ離散エンコーダ:離散遅延層を持つリッチデータのための同定可能なディープ生成モデル
• Authors: Seunghyun Lee, Yuqi Gu,
• Abstract要約: 本稿では,離散遅延層を持つリッチデータ型に対する解釈可能な深層生成モデリングフレームワークを提案する。 DDEを階層的なトピックモデリング、画像表現学習、教育試験における応答時間モデリングの3つの多様な実データに適用し、解釈可能な結果を得る。
• 参考スコア（独自算出の注目度）: 13.545948734057268
• License:
• Abstract: In the era of generative AI, deep generative models (DGMs) with latent representations have gained tremendous popularity. Despite their impressive empirical performance, the statistical properties of these models remain underexplored. DGMs are often overparametrized, non-identifiable, and uninterpretable black boxes, raising serious concerns when deploying them in high-stakes applications. Motivated by this, we propose an interpretable deep generative modeling framework for rich data types with discrete latent layers, called Deep Discrete Encoders (DDEs). A DDE is a directed graphical model with multiple binary latent layers. Theoretically, we propose transparent identifiability conditions for DDEs, which imply progressively smaller sizes of the latent layers as they go deeper. Identifiability ensures consistent parameter estimation and inspires an interpretable design of the deep architecture. Computationally, we propose a scalable estimation pipeline of a layerwise nonlinear spectral initialization followed by a penalized stochastic approximation EM algorithm. This procedure can efficiently estimate models with exponentially many latent components. Extensive simulation studies validate our theoretical results and demonstrate the proposed algorithms' excellent performance. We apply DDEs to three diverse real datasets for hierarchical topic modeling, image representation learning, response time modeling in educational testing, and obtain interpretable findings.
• Abstract（参考訳）: 生成AIの時代において、潜在表現を持つ深層生成モデル(DGM)は非常に人気がある。 その印象的な経験的性能にもかかわらず、これらのモデルの統計的性質は未解明のままである。 DGMは、しばしば過度にパラメータ化され、識別不能で、解釈不能なブラックボックスであり、それらを高精細なアプリケーションにデプロイする際に深刻な懸念を引き起こす。 そこで我々は,DDE(Deep Discrete Encoders)と呼ばれる,離散遅延層を持つリッチデータ型に対する解釈可能な深層生成モデリングフレームワークを提案する。 DDEは、複数のバイナリ潜在層を持つ有向グラフィカルモデルである。 理論的には、DDEの透過的識別可能性条件を提案し、より深く進むにつれて、潜伏層のサイズが徐々に小さくなることを示す。 Identifiabilityは、一貫したパラメータ推定を保証し、ディープアーキテクチャの解釈可能な設計を誘発する。 計算学的には、階層的に非線形なスペクトル初期化のスケーラブルな推定パイプラインを提案し、その後にPentalized Stochastic Approximation EMアルゴリズムを提案する。 この手法は指数関数的に多くの潜在成分を持つモデルを効率的に推定することができる。 大規模なシミュレーション研究は、我々の理論結果を評価し、提案アルゴリズムの優れた性能を実証する。 DDEを階層的なトピックモデリング、画像表現学習、教育試験における応答時間モデリングの3つの多様な実データに適用し、解釈可能な結果を得る。

関連論文リスト

• OOD Detection with immature Models [8.477943884416023]
  高次元データの分布を近似する能力について, 類似性に基づくDGM (Deep Generative Model) が注目されている。 これらのモデルには、In-distriion (ID) インプットに高い確率値を割り当てる性能保証がないため、モデルがトレーニングするデータはout-of-distriion (OOD) インプットよりも優れている。 本研究は,未成熟モデルを用いた学習の初期段階において,この下流タスクにおいて,ほぼ同等あるいは優れた結果が得られることを実証する。
  論文  参考訳（メタデータ） (2025-02-02T15:14:17Z)
• Exploring Representation-Aligned Latent Space for Better Generation [86.45670422239317]
  生成性能を改善するために,セマンティックな事前情報を統合するReaLSを導入する。 本研究では、ReaLSでトレーニングされたDETとSiTが、FID測定値の15%改善を実現することを示す。 拡張されたセマンティック潜在空間は、セグメンテーションや深さ推定のようなより知覚的な下流タスクを可能にする。
  論文  参考訳（メタデータ） (2025-02-01T07:42:12Z)
• A Bayesian Gaussian Process-Based Latent Discriminative Generative Decoder (LDGD) Model for High-Dimensional Data [0.41942958779358674]
  潜在判別生成デコーダ(LDGD)は、多様体発見過程において、データと関連するラベルの両方を用いる。 LDGDは,データサイズに制限のあるシナリオに対して,多様体を頑健に推論し,正確にラベルを予測することができることを示す。
  論文  参考訳（メタデータ） (2024-01-29T19:11:03Z)
• Learning Hierarchical Features with Joint Latent Space Energy-Based Prior [44.4434704520236]
  階層表現学習における多層ジェネレータモデルの基本的問題について検討する。 実効的階層型表現学習のための多層潜在変数を用いた有意な潜在空間EMM事前モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-14T15:44:14Z)
• SatDM: Synthesizing Realistic Satellite Image with Semantic Layout Conditioning using Diffusion Models [0.0]
  Denoising Diffusion Probabilistic Models (DDPM) は意味的レイアウトから現実的なイメージを合成する上で大きな可能性を証明している。 本稿では,セマンティックマップを用いて高品質で多様な衛星画像を生成する条件付きDDPMモデルを提案する。 提案モデルの有効性は,本研究の文脈内で導入した詳細なラベル付きデータセットを用いて検証する。
  論文  参考訳（メタデータ） (2023-09-28T19:39:13Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Learning in latent spaces improves the predictive accuracy of deep neural operators [0.0]
  L-DeepONetは標準のDeepONetの拡張であり、高次元PDE入力の潜在表現と適切なオートエンコーダで識別される出力関数を利用する。 L-DeepONetは時間依存PDEの精度と計算効率の両面で標準手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-15T17:13:09Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• Deep Variational Models for Collaborative Filtering-based Recommender Systems [63.995130144110156]
  ディープラーニングは、リコメンダシステムの結果を改善するために、正確な協調フィルタリングモデルを提供する。 提案するモデルは, 深層建築の潜伏空間において, 変分概念を注入性に適用する。 提案手法は, 入射雑音効果を超える変動エンリッチメントのシナリオにおいて, 提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2021-07-27T08:59:39Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。