論文の概要: Sculpting Latent Spaces With MMD: Disentanglement With Programmable Priors

• arxiv url: http://arxiv.org/abs/2510.11953v1
• Date: Mon, 13 Oct 2025 21:26:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.098356
• Title: Sculpting Latent Spaces With MMD: Disentanglement With Programmable Priors
• Title（参考訳）: MMDで潜伏空間を解析する:プログラマブルプライオリティとの絡み合い
• Authors: Quentin Fruytier, Akshay Malhotra, Shahab Hamidi-Rad, Aditya Sant, Aryan Mokhtari, Sujay Sanghavi,
• Abstract要約: 最大平均離散性(MMD)に基づく手法であるProgrammable Prior Frameworkを導入する。 我々の研究は、表現工学の基礎となるツールを提供し、モデル識別可能性と因果推論のための新しい道を開く。
• 参考スコア（独自算出の注目度）: 30.182736043604304
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning disentangled representations, where distinct factors of variation are captured by independent latent variables, is a central goal in machine learning. The dominant approach has been the Variational Autoencoder (VAE) framework, which uses a Kullback-Leibler (KL) divergence penalty to encourage the latent space to match a factorized Gaussian prior. In this work, however, we provide direct evidence that this KL-based regularizer is an unreliable mechanism, consistently failing to enforce the target distribution on the aggregate posterior. We validate this and quantify the resulting entanglement using our novel, unsupervised Latent Predictability Score (LPS). To address this failure, we introduce the Programmable Prior Framework, a method built on the Maximum Mean Discrepancy (MMD). Our framework allows practitioners to explicitly sculpt the latent space, achieving state-of-the-art mutual independence on complex datasets like CIFAR-10 and Tiny ImageNet without the common reconstruction trade-off. Furthermore, we demonstrate how this programmability can be used to engineer sophisticated priors that improve alignment with semantically meaningful features. Ultimately, our work provides a foundational tool for representation engineering, opening new avenues for model identifiability and causal reasoning.
• Abstract（参考訳）: 独立した潜伏変数によって変化の異なる要因をキャプチャする非絡み合い表現の学習は、機械学習における中心的な目標である。 主なアプローチは変分オートエンコーダ (VAE) フレームワークであり、KL(Kulback-Leibler) の発散ペナルティを用いて、因数化ガウス空間に適合する潜在空間を奨励している。 しかしながら、本研究では、このKLベースの正則化器が信頼性の低い機構であり、集合体後部における目標分布を一貫して強制できないという直接的な証拠を提供する。 これを検証し、新しい非教師付き潜在予測可能性スコア(LPS)を用いて、結果の絡み合いを定量化する。 この障害に対処するために、最大平均離散性(MMD)に基づくメソッドであるProgrammable Prior Frameworkを導入する。 当社のフレームワークは,CIFAR-10やTiny ImageNetのような複雑なデータセットに対して,共通再構築のトレードオフを伴わずに,最先端の相互独立性を実現することによって,潜伏空間を明示的に彫刻することを可能にする。 さらに,このプログラマビリティを,意味論的に意味のある機能との整合性を改善する高度な事前設計に活用する方法を実証する。 最終的に、我々の研究は表現工学の基礎となるツールを提供し、モデル識別可能性と因果推論のための新たな道を開く。

関連論文リスト

• Support Tokens, Stability Margins, and a New Foundation for Robust LLMs [1.429795922604976]
  現代基礎モデルのバックボーンである因果自己注意変換器を再解釈する。 バリア制約が自己アテンションパラメータに現れる。 これにより、注意が不調になる境界が明らかになる。
  論文  参考訳（メタデータ） (2026-02-25T08:44:44Z)
• Decoupled DMD: CFG Augmentation as the Spear, Distribution Matching as the Shield [54.328202401611264]
  拡散モデル蒸留は、効率的な数段・単段発生装置を作るための強力な技術として登場した。 数段蒸留の原動力は分布一致ではなく,これまで見過ごされていた成分であるCFG増量 (CFG Augmentation, CA) であることを示す。 本稿では, エンジンとレギュレータのノイズスケジュールを分離するなど, 蒸留工程の原理的な修正を提案し, 更なる性能向上を実現した。
  論文  参考訳（メタデータ） (2025-11-27T18:24:28Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• Disentangled Interleaving Variational Encoding [1.132458063021286]
  本稿では,変分オートエンコーダの潜時空間において,元の入力を限界値と条件値の確率分布に分解する原理的手法を提案する。 提案モデルであるDeep Disentangled Interleaving Variationalを提案する。 コーダ(DeepDIVE)は、元の入力から切り離された特徴を学習し、埋め込み空間にクラスタを形成する。 2つの公開データセットの実験は、DeepDIVEが元の入力をアンタングルし、元のVAEよりも予測精度が良いことを示している。
  論文  参考訳（メタデータ） (2025-01-15T10:50:54Z)
• How to train your VAE [0.0]
  変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。 本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。 提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
  論文  参考訳（メタデータ） (2023-09-22T19:52:28Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)
• Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE [51.09507030387935]
  Wasserstein autoencoder (WAE) は、2つの分布が一致することは、このAEの潜在空間が予め指定された事前分布と一致するという制約の下で、単純なオートエンコーダ(AE)損失を最小限にすることと同値であることを示している。 本稿では,この問題を解決する手段として,自己指導型表現学習に有効であることを示すコントラスト学習フレームワークを提案する。 WAEの損失を最適化するために、対照的な学習フレームワークを使用することで、WAEの一般的なアルゴリズムと比較して、より高速に収束し、より安定した最適化が達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-19T22:55:47Z)
• To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs [10.611727286504994]
  AEモデルの生成決定論的品質に及ぼす潜伏剤の影響について検討する。 我々は、FlexAEと呼ばれるモデルが、AEベースの生成モデルのための新しい最先端技術であることを示します。
  論文  参考訳（メタデータ） (2020-06-10T14:00:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。