論文の概要: Entropic Auto-Encoding via Implicit Free-Energy Minimization

• arxiv url: http://arxiv.org/abs/2605.16164v1
• Date: Fri, 15 May 2026 16:43:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.376724
• Title: Entropic Auto-Encoding via Implicit Free-Energy Minimization
• Title（参考訳）: 入出力自由エネルギー最小化によるエントロピー自動符号化
• Authors: Hazhir Aliahmadi, Irina Babayan, Greg van Anders,
• Abstract要約: 本稿では,再建損失が唯一の明示的な目的であるエントロピーオートエンコーダ(EAE)について紹介する。 EAEは非ガウス的, 多モードの潜伏分布を学習することにより, 後部崩壊を緩和することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their ubiquity, variational autoencoders (VAEs) inherently suffer from posterior collapse, a failure mode in which latent variables are effectively ignored. This failure arises because explicit prior imposition drives optimization toward loss landscape regions corresponding to uninformative latent representations. Here, we introduce Entropic Autoencoders (EAEs), a framework in which reconstruction loss is the only explicit objective, and entropy generates the latent variables' prior implicitly through a free energy-minimizing ensemble of encoders. This ensemble biases learning toward high-volume regions of near-optimal solutions, while decoder updates direct the search trajectories toward informative latent representations. We demonstrate that EAEs mitigate posterior collapse by learning non-Gaussian, multimodal latent distributions that yield diverse, data-consistent generations and preserve different forms of underlying structure in the data. As a proof-of-concept, we show that an EAE captures a superposition of the known low-dimensional dynamics of a reaction-diffusion process. Then, we show that an EAE identifies implicit categorical distinctions in MNIST latent representations, and displays a hierarchical understanding of facial structure on the CelebA dataset, from an "all-human" face to individual-dependent features.
• Abstract（参考訳）: その普遍性にもかかわらず、変分オートエンコーダ(VAE)は本質的に、潜伏変数を効果的に無視する障害モードである後部崩壊に苦しむ。 この失敗は、明示的な事前配置が非形式的潜在表現に対応する損失ランドスケープ領域への最適化を促進するために生じる。 本稿では,復元損失を唯一明示的な目的とするフレームワークであるエントロピーオートエンコーダ(EAE)を紹介し,エンコーダのエネルギー最小化アンサンブルを通じて,暗黙的に潜伏変数を生成させる。 このアンサンブルは、ほぼ最適解の高ボリューム領域への学習をバイアスし、デコーダは情報的潜在表現への探索軌道を更新する。 EAEは、多種多様なデータ一貫性を持つ世代を生成する非ガウス的、多モードの潜伏分布を学習し、データの構造の異なる形態を保存することにより、後部崩壊を緩和することを示した。 概念実証として、AEは反応拡散過程の既知の低次元力学の重ね合わせを捉えていることを示す。 そして,EAEは,MNIST潜在表現における暗黙的な分類的特徴を識別し,CelebAデータセット上に「全人類」の顔から個人依存の特徴まで,顔構造を階層的に理解することを示す。

関連論文リスト

• Better with Less: Tackling Heterogeneous Multi-Modal Image Joint Pretraining via Conditioned and Degraded Masked Autoencoder [34.73963627819185]
  高分解能光合成開口レーダ(SAR)プレトレーニングは、単一ソース表現を相互に強化するために、モダリティの相乗効果を求める。 我々は、アライメントの少ないテキスト・ベッター・シナジーの先駆者であるCoDe-MAEを提案する。 CoDe-MAEは、表現の劣化を防ぎ、多様な単一および双方向の下流タスクにまたがる新しい最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2026-04-18T10:23:00Z)
• Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
  本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。 KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:12:26Z)
• Improved Variational Inference in Discrete VAEs using Error Correcting Codes [3.053842954605396]
  本研究は, 離散変分オートエンコーダにおける推論を, 生成的視点で解釈することで改善する手法を提案する。 我々は,このモデルを通信システムとして概念化し,誤り訂正符号(ECC)を利用して潜在表現に冗長性を導入することを提案する。 本稿では,2変数の潜伏変数と低複素度繰り返し符号を持つ離散変分オートコーダを用いて概念実証を行い,グローバルおよびローカルなデータ特徴を分離する階層構造に拡張する。
  論文  参考訳（メタデータ） (2024-10-10T11:59:58Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• Elastic Interaction Energy-Based Generative Model: Approximation in Feature Space [14.783344918500813]
  弾性相互作用エネルギー(EIE)に基づく損失関数を用いた生成モデリングの新しい手法を提案する。 EIEに基づく計量の利用は、分布のグローバルな情報を考慮した長距離特性など、いくつかの利点を示す。 MNIST、FashionMNIST、CIFAR-10、CelebAなどの一般的なデータセットに対する実験結果から、EIEG GANモデルがモード崩壊を緩和し、安定性を向上し、モデル性能を向上させることを示した。
  論文  参考訳（メタデータ） (2023-03-19T03:39:31Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• The Deep Generative Decoder: MAP estimation of representations improves modeling of single-cell RNA data [0.0]
  モデルパラメータと表現を直接最大後部推定(MAP)により計算する単純な生成モデルを提案する。 このアプローチの利点は、その単純さと、同等のVAEよりもはるかに小さな次元の表現を提供する能力である。
  論文  参考訳（メタデータ） (2021-10-13T12:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。