論文の概要: Residual spectral instabilities in representation learning

• arxiv url: http://arxiv.org/abs/2610.11257v1
• Date: Thu, 08 Oct 2026 05:09:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.812228
• Title: Residual spectral instabilities in representation learning
• Title（参考訳）: 表現学習における残留スペクトル不安定性
• Abstract要約: 学習された表現は遅延自由度を連続的に失うことができ、基礎となる安定性原理が不明な遷移のカスケードを示唆する。 変分オートエンコーダ(VAE)の次元的後方崩壊を部分的に崩壊した状態の変動理論として定式化する。 崩壊方向は不変セクター変動を形成し、条件付き残留作用素の観点からその正確な質量スペクトルを導出することを示す。
• 参考スコア（独自算出の注目度）: 3.7660809215270796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learned representations can lose latent degrees of freedom successively, suggesting a cascade of transitions whose underlying stability principle remains unclear. Here we formulate dimension-wise posterior collapse in variational autoencoder (VAE) as a fluctuation theory around partially collapsed states. Interpreting the negative evidence lower bound as an effective free energy, its quadratic expansion defines a Gaussian theory whose Hessian acts as a mass matrix for latent fluctuations. We show that the collapsed directions form an invariant fluctuation sector and derive its exact mass spectrum in terms of a conditional residual operator. A local reactivation direction lowers the free energy when the decoder variance falls below the residual spectral upper edge, with equality marking marginality. The criterion recovers principal component thresholds in the linear Gaussian VAE limit. Viewed in reverse along continuously connected branches, the reactivation boundary provides a local criterion for successive collapse. Numerical continuation experiments show successive loss of latent dimensions near these spectral marginalities. These results support a spectral cascade interpretation governed by residual information left unexplained by the surviving representation.
• Abstract（参考訳）: 学習された表現は遅延自由度を連続的に失うことができ、基礎となる安定性原理が不明な遷移のカスケードを示唆する。 ここでは、変分オートエンコーダ(VAE)の次元的後方崩壊を部分的に崩壊した状態のゆらぎ理論として定式化する。 負のエビデンスを有効自由エネルギーとして低く解釈すると、その二次展開は、ヘッセンが潜在変動の質量行列として作用するガウス理論を定義する。 崩壊方向は不変変動セクターを形成し、条件付き残差演算子の観点からその正確な質量スペクトルを導出することを示す。 局所的再活性化方向は、デコーダの分散が残留スペクトル上縁より下にあるときに自由エネルギーを減少させる。 基準は、線形ガウスVAE極限の主成分閾値を回復する。 連続的に連結された枝に沿って逆向きに見ることにより、再活性化境界は連続的な崩壊の局所的基準を与える。 数値連続実験は、これらのスペクトル境界付近の潜伏次元の連続的な損失を示す。 これらの結果は、生き残った表現によって説明されていない残余の情報によって制御されるスペクトルカスケード解釈を支持する。

関連論文リスト

• A spectral viewpoint on the single defect tight-binding chain [0.0]
  本研究は,1つのオンサイト欠陥の存在下,最寄りの密結合鎖の時間的進化を解析した。 平均および平均2乗変位における非単調性のスペクトル源を提供する。
  論文  参考訳（メタデータ） (2026-07-31T14:32:41Z)
• Stochastic Counterdiabatic Driving via Biorthogonal Liouvillian Eigenmodes [42.668742604089324]
  エスコレートされた自由エネルギーシミュレーションは、ラグを除去するエンジニアリング制御フィールド$mathbfu$による非断熱的なラグに対処する。 一般化座標変換の代わりにゲージ型変換に基づく相補的な数値的枠組みを構築する。 非断熱ラグを約12桁の精度で抑えることにより, 逆断熱条件が機械精度に満足していることが示される。
  論文  参考訳（メタデータ） (2026-07-27T13:08:14Z)
• Quantum Chaos with a Macroscopic Zero-Mode Sector [36.947315248138345]
  カオス多体スペクトルは、そのエネルギーウィンドウを密に満たすことが期待されている。 キラル対称性を持つ制約付きスピン鎖は、指数関数的に大きい対称性で保護された完全零モードの多様体をホストすることによって、この期待を回避できることを示す。
  論文  参考訳（メタデータ） (2026-07-10T15:17:05Z)
• Variance Reduction for Stochastic Gradient Generalized Non-reversible Langevin Monte Carlo Algorithms [7.336637417508747]
  非可逆ランゲヴィン力学に対する勾配丸山推定器の序列変動について検討する。 我々は、逆二乗階段の水平方向上の経験的平均が、消滅段数状態における中心極限定理を満たすことを証明した。
  論文  参考訳（メタデータ） (2026-06-27T08:25:48Z)
• Surprisal-Rényi Free Energy [3.0518869830825293]
  本稿では,$f$-divergencesのクラス外に存在する可能性比の対数モーメントに基づく関数であるSurprisal-Rényi Free Energy (SRFE)を紹介する。 SRFEは,一意の終点限界として分岐し,対数類似度比のばらつきが一階補正として現れるような両方の限界付近の局所展開を導出することを示す。
  論文  参考訳（メタデータ） (2026-03-03T16:42:08Z)
• Beyond ReLU: Bifurcation, Oversmoothing, and Topological Priors [28.452964044443906]
  グラフニューラルネットワーク(GNN)は、反復的なネットワークベースのメッセージパッシングを通じてノード表現を学習する。 ディープGNNは、ノードの特徴が均質で非表現的な状態に収束する過度な平滑化に悩まされる。 我々は、この表現的崩壊という問題を、Emphbifurcation理論の観点から再設定し、安定な等質な固定点への収束として過剰な平滑化を特徴づける。
  論文  参考訳（メタデータ） (2026-02-17T15:03:28Z)
• Spectral Collapse in Diffusion Inversion [44.781674986581244]
  条件拡散反転は、ソースドメインがターゲットドメインに比べてスペクトル的にスパースであるときに失敗する。 理論的ガウス雑音等級を強制するためにODEダイナミクスを補正する推定時間法であるオルソゴン可変誘導法(OVG)を提案する。 OVGは構造的忠実性を維持しながら、光現実的なテクスチャを効果的に復元する。
  論文  参考訳（メタデータ） (2026-02-09T17:53:21Z)
• Robust extended states in Anderson model on partially disordered random regular graphs [44.99833362998488]
  スペクトルの運動量エッジは、無限大の均一分散障害において、ある範囲のパラメータ$(d,beta)$で生存することが示されている。 スパースと超高密度RRGの局在特性の双対性が発見され、理解されている。
  論文  参考訳（メタデータ） (2023-09-11T18:00:00Z)
• Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks [3.566568169425391]
  深さが大きくなると、ノード表現はアグリゲーション関数に依存するが特徴変換には依存しない低次元部分空間に支配されることが示される。 すべてのアグリゲーション関数について、ノード表現のランクは崩壊し、特定のアグリゲーション関数に対して過度に滑らかになる。
  論文  参考訳（メタデータ） (2023-08-31T15:22:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。