論文の概要: Topological degree as a discrete diagnostic for disentanglement, with applications to the $Δ$VAE

• arxiv url: http://arxiv.org/abs/2409.01303v1
• Date: Mon, 2 Sep 2024 14:51:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 06:37:11.034428
• Title: Topological degree as a discrete diagnostic for disentanglement, with applications to the $Δ$VAE
• Title（参考訳）: 絡み合いの離散診断としての位相次数と$Δ$VAEへの応用
• Authors: Mahefa Ratsisetraina Ravelonanosy, Vlado Menkovski, Jacobus W. Portegies,
• Abstract要約: 本稿では,データ多様体から潜在空間への写像であるエンコーダの位相次数,すなわちエンコーダの位相次数を導入する。 実験の結果,$Delta$VAEはLSBDスコアが比較的小さいことがわかった。
• 参考スコア（独自算出の注目度）: 4.749155557874305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the ability of Diffusion Variational Autoencoder ($\Delta$VAE) with unit sphere $\mathcal{S}^2$ as latent space to capture topological and geometrical structure and disentangle latent factors in datasets. For this, we introduce a new diagnostic of disentanglement: namely the topological degree of the encoder, which is a map from the data manifold to the latent space. By using tools from homology theory, we derive and implement an algorithm that computes this degree. We use the algorithm to compute the degree of the encoder of models that result from the training procedure. Our experimental results show that the $\Delta$VAE achieves relatively small LSBD scores, and that regardless of the degree after initialization, the degree of the encoder after training becomes $-1$ or $+1$, which implies that the resulting encoder is at least homotopic to a homeomorphism.
• Abstract（参考訳）: 本研究では, 単位球面$\mathcal{S}^2$の拡散変分オートエンコーダ(\Delta$VAE)を潜在空間として用いて, トポロジカル・幾何学的構造を捉え, 潜在因子を分解する能力について検討する。 そこで本研究では,データ多様体から潜在空間への写像であるエンコーダの位相次数 (topological degree of the encoder) を新たに導入する。 ホモロジー理論のツールを用いて、この次数を計算するアルゴリズムを導出し、実装する。 トレーニング手順から得られたモデルのエンコーダのエンコーダの度合いをアルゴリズムを用いて計算する。 実験の結果、$\Delta$VAEはLSBDスコアが比較的小さいことを示し、初期化後の度合に関わらず、訓練後のエンコーダの次数は$-1$または$+1$となり、その結果、エンコーダは少なくとも同相であることを示す。

関連論文リスト

• Information-Theoretic Thresholds for Planted Dense Cycles [52.076657911275525]
  本研究では,社会科学や生物科学においてユビキタスな小世界ネットワークのランダムグラフモデルについて検討する。 植え込み高密度サイクルの検出と回復の両面において、情報理論の閾値を$n$, $tau$、エッジワイド信号対雑音比$lambda$で特徴づける。
  論文  参考訳（メタデータ） (2024-02-01T03:39:01Z)
• Adam-like Algorithm with Smooth Clipping Attains Global Minima: Analysis Based on Ergodicity of Functional SDEs [0.0]
  我々は,グローバル化された非-1損失関数を切断したAdam型アルゴリズムが正規化された非-1エラー形式を最小化することを示す。 また、スムーズな群のエルゴード理論を適用して、逆温度と時間を学ぶためのアプローチを研究する。
  論文  参考訳（メタデータ） (2023-11-29T14:38:59Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Detection-Recovery Gap for Planted Dense Cycles [72.4451045270967]
  期待帯域幅$n tau$とエッジ密度$p$をエルドホス=R'enyiグラフ$G(n,q)$に植え込むモデルを考える。 低次アルゴリズムのクラスにおいて、関連する検出および回復問題に対する計算しきい値を特徴付ける。
  論文  参考訳（メタデータ） (2023-02-13T22:51:07Z)
• An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
  大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。 以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
  論文  参考訳（メタデータ） (2022-12-02T18:46:41Z)
• The Manifold Hypothesis for Gradient-Based Explanations [55.01671263121624]
  勾配に基づく説明アルゴリズムは知覚的に整合した説明を提供する。 特徴属性がデータの接する空間と一致しているほど、知覚的に一致している傾向にあることを示す。 説明アルゴリズムは、その説明をデータ多様体と整合させるよう積極的に努力すべきである。
  論文  参考訳（メタデータ） (2022-06-15T08:49:24Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• The decomposition of the higher-order homology embedding constructed from the $k$-Laplacian [5.076419064097734]
  k$-階ラプラシアン $mathbfmathcal L_k$ の零空間は、多様体やネットワークの非自明な位相を符号化する。 多様体の最も単純な位相成分に対応する部分空間に埋め込まれたホモロジーを分解するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-23T00:40:01Z)
• Analysis of feature learning in weight-tied autoencoders via the mean field lens [3.553493344868413]
  平均場フレームワークにおける2層重み付き非線形オートエンコーダのクラスを解析する。 勾配降下で訓練されたモデルでは平均場制限ダイナミクスが認められる。 実生活データに関する実験は、この理論と興味深い一致を示した。
  論文  参考訳（メタデータ） (2021-02-16T18:58:37Z)
• NeCPD: An Online Tensor Decomposition with Optimal Stochastic Gradient Descent [1.0953917735844645]
  マルチウェイオンラインデータに基づく$(N)Nにおける非効率的な問題に対して,NeCPDという新しい効率的な分解アルゴリズムを提案する。 さらに,本手法を構造的データセットを用いた実生活モニタリングの分野に適用する。
  論文  参考訳（メタデータ） (2020-03-18T04:44:05Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。