論文の概要: Disentangling Granularity: An Implicit Inductive Bias in Factorized VAEs
- arxiv url: http://arxiv.org/abs/2505.24684v1
- Date: Fri, 30 May 2025 15:08:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:53.02145
- Title: Disentangling Granularity: An Implicit Inductive Bias in Factorized VAEs
- Title（参考訳）: 粒度を識別する: 因子化VAEにおける帰納的誘導バイアス
- Authors: Zihao Chen, Yu Xiang, Wenyong Wang,
- Abstract要約: 本研究では, 因数分解前の変分自己エンコーダ (VAE) の非絡み合いを誘導する暗黙的帰納バイアスについて検討した。
因子化VAEにおける暗黙的帰納バイアスとしての異方性粒度は、異方性性能とエビデンス・ロウアー・バウンド(ELBO)の推論の両方に影響を及ぼすことを示した。
その結果, 因子化VAEにおける暗黙的誘導バイアスとしての粒状化が, ELBOの解離性能と推定に影響を及ぼし, VAEの解釈可能性や固有バイアスに関する新たな知見が得られた。
- 参考スコア（独自算出の注目度）: 4.987314374901578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the success in learning semantically meaningful, unsupervised disentangled representations, variational autoencoders (VAEs) and their variants face a fundamental theoretical challenge: substantial evidence indicates that unsupervised disentanglement is unattainable without implicit inductive bias, yet such bias remains elusive. In this work, we focus on exploring the implicit inductive bias that drive disentanglement in VAEs with factorization priors. By analyzing the total correlation in \b{eta}-TCVAE, we uncover a crucial implicit inductive bias called disentangling granularity, which leads to the discovery of an interesting "V"-shaped optimal Evidence Lower Bound (ELBO) trajectory within the parameter space. This finding is validated through over 100K experiments using factorized VAEs and our newly proposed model, \b{eta}-STCVAE. Notably, experimental results reveal that conventional factorized VAEs, constrained by fixed disentangling granularity, inherently tend to disentangle low-complexity feature. Whereas, appropriately tuning disentangling granularity, as enabled by \b{eta}-STCVAE, broadens the range of disentangled representations, allowing for the disentanglement of high-complexity features. Our findings unveil that disentangling granularity as an implicit inductive bias in factorized VAEs influence both disentanglement performance and the inference of the ELBO, offering fresh insights into the interpretability and inherent biases of VAEs.
- Abstract（参考訳）: 意味論的に意味のある、教師なしの非絡み合い表現、変分オートエンコーダ(VAE)とその変種を学習することに成功したにもかかわらず、基本的な理論的課題に直面している。
本研究では, 因数分解の先行するVAEの絡み合いを誘発する暗黙の帰納バイアスの探索に焦点をあてる。
b{eta}-TCVAEの総相関を解析することにより、解離粒度と呼ばれる重要な暗黙的帰納バイアスを発見し、パラメータ空間内での「V」形最適エビデンス下界(ELBO)軌道の発見につながる。
この発見は、分解されたVAEと新たに提案したモデルである \b{eta}-STCVAEを用いて、100K以上の実験により検証された。
特に実験結果から, 従来の分解型VAEは, 低複雑さの特徴を乱す傾向にあることが明らかとなった。
一方、b{eta}-STCVAEが有効にしているように、非絡み合いの粒度を適切にチューニングすることで、非絡み合い表現の範囲を広げ、高複素性特徴の非絡み合いを可能にする。
その結果, 因子化VAEにおける暗黙的誘導バイアスとしての粒状化が, ELBOの解離性能と推定に影響を及ぼし, VAEの解釈可能性や固有バイアスに関する新たな知見が得られた。
関連論文リスト
- A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。
本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。
また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
論文 参考訳（メタデータ） (2024-08-06T18:18:37Z) - Learning Disentangled Discrete Representations [22.5004558029479]
本稿では,標準ガウス変分オートエンコーダをカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を示す。
本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。
論文 参考訳（メタデータ） (2023-07-26T12:29:58Z) - Curve Your Enthusiasm: Concurvity Regularization in Differentiable
Generalized Additive Models [5.519653885553456]
GAM(Generalized Additive Models)はその解釈可能性のために最近人気が回復した。
我々は,GAMの解釈可能性の低下がいかに深刻かを示す。
線形変換しない特徴変数の相互相関をペナルティ化した,概念的には単純だが効果的な正則化器を提案する。
論文 参考訳（メタデータ） (2023-05-19T06:55:49Z) - Strong inductive biases provably prevent harmless interpolation [8.946655323517092]
本論文は, 推定者の帰納バイアスの強さに無害な程度の影響が及ぶことを論じる。
我々の主理論的結果は、高次元のカーネル回帰に対する厳密な非漸近境界を確立する。
論文 参考訳（メタデータ） (2023-01-18T15:37:11Z) - Unraveling Attention via Convex Duality: Analysis and Interpretations of
Vision Transformers [52.468311268601056]
本稿では凸双対性のレンズを通して注意を解析する。
我々は、大域的最適性に対して解釈可能で解ける等価な有限次元凸問題を導出する。
自己認識ネットワークがトークンを暗黙的にクラスタリングする方法を示す。
論文 参考訳（メタデータ） (2022-05-17T04:01:15Z) - Deconfounded Score Method: Scoring DAGs with Dense Unobserved
Confounding [101.35070661471124]
本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。
汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-28T11:07:59Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳（メタデータ） (2021-01-15T11:39:09Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳（メタデータ） (2020-07-25T08:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。