論文の概要: A Simplex Witness Certificate for Constant Collapse in Variational Autoencoders
- arxiv url: http://arxiv.org/abs/2605.18224v2
- Date: Tue, 19 May 2026 10:32:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:08.569565
- Title: A Simplex Witness Certificate for Constant Collapse in Variational Autoencoders
- Title(参考訳): 変分オートエンコーダにおける一定崩壊の簡易性証明
- Authors: Zegu Zhang, Jianhua Peng, Jian Zhang,
- Abstract要約: 本研究では, 変分オートエンコーダにおいて, 決定論的エンコーダ経路が入力から独立となるような正確な定数崩壊について検討する。
この理論、最小限のトレーニングプロトコル、および予備的なMNISTの正当性チェックを示す。
- 参考スコア(独自算出の注目度): 3.812090634738739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study exact constant collapse in variational autoencoders, where the deterministic encoder path becomes independent of the input. The VAE prior is kept as the standard Gaussian. Before VAE training, we construct a single fixed teacher posterior by searching a GMM-based approximation of the data. We then attach a fixed latent-only simplex witness to the encoder mean and compare its output with the teacher. The resulting alignment loss has an exact constant-predictor baseline: if the latent witness beats this baseline, the encoder mean cannot be input-independent constant. The same construction also gives a closed-form latent target that realizes zero teacher-witness alignment error for any full-support teacher posterior. This yields a concrete design principle: choose a teacher with nontrivial information but controlled log-odds energy, fix the witness, train only the encoder and decoder, and certify non-collapse by a positive margin. We present the theory, a minimal training protocol, and preliminary MNIST sanity checks. The analysis targets exact constant collapse. Reconstruction quality, sampling quality, and other collapse modes are evaluated with additional diagnostics rather than folded into the certificate itself.
- Abstract(参考訳): 本研究では, 変分オートエンコーダにおいて, 決定論的エンコーダ経路が入力から独立となるような正確な定数崩壊について検討する。
以前のVAEは標準のガウシアンとして維持されている。
VAEトレーニングの前に、GMMに基づくデータ近似を探索することにより、1つの固定教師を後から構築する。
次に、エンコーダの平均値に固定された潜時限定の単純な目撃者をアタッチし、その出力を教師と比較する。
結果として生じるアライメント損失は、正確な定数予測のベースラインを持ち、潜在証人がこのベースラインを破れば、エンコーダ平均は入力非依存の定数にはならない。
同じ構成では、教師の完全サポート後における教師の知性アライメントエラーをゼロにするクローズドフォームの潜在目標も提供される。
これは具体的設計原則である:非自明な情報を持つ教師を選ぶが、制御された対数エネルギーを選択し、証人を修正し、エンコーダとデコーダのみを訓練し、非崩壊を正のマージンで認証する。
この理論、最小限のトレーニングプロトコル、および予備的なMNISTの正当性チェックを示す。
この分析は、正確な一定の崩壊を目標としている。
復元品質、サンプリング品質、その他の崩壊モードは、証明書自体に折り畳まれるのではなく、追加の診断で評価される。
関連論文リスト
- A Testable Certificate for Constant Collapse in Teacher-Guided VAEs [3.812090634738739]
変異型オートエンコーダの後方崩壊は、しばしばその症状によって診断される。
本研究では, 具体的故障モード, 入力非依存定数崩壊について検討し, 正確なしきい値が認められたことを示す。
論文 参考訳(メタデータ) (2026-05-07T07:48:41Z) - Beyond Logit Adjustment: A Residual Decomposition Framework for Long-Tailed Reranking [3.165340675929986]
縮小安定化されたクラスワイド項と、ショートリスト上の競合機能によって駆動される線形ペアワイド項を結合した軽量なポストホックリランカを開発する。
画像分類、種別認識、シーン認識、希少な疾患の診断を含む5つのベンチマークの実験では、分解によってペアワイズ補正がどこに役立ち、クラスワイズ補正だけで十分かを説明できる。
論文 参考訳(メタデータ) (2026-04-02T00:34:12Z) - Beyond the Loss Curve: Scaling Laws, Active Learning, and the Limits of Learning from Exact Posteriors [8.410613979416203]
実写画像で正確な後部を抽出可能なオラクルとして,クラス条件正規化フローを用いる。
我々のフレームワークは、標準メトリクスが進行中の学習を隠蔽し、アーキテクチャの違いを隠蔽し、分散シフトの性質を診断できないことを明らかにしている。
論文 参考訳(メタデータ) (2026-01-30T21:08:55Z) - Geometric-Disentangelment Unlearning [106.99160454669902]
忘れたサンプルへの勾配は しばしば 保持された知識を傷つける
本稿では,GU(Geometric-disment Unlearning)を提案する。
本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
論文 参考訳(メタデータ) (2025-11-21T09:58:25Z) - REPA Works Until It Doesn't: Early-Stopped, Holistic Alignment Supercharges Diffusion Training [58.33728862521732]
Diffusion Transformer (DiTs)は最先端の画像品質を提供するが、訓練は依然として遅い。
最近の治療 -- DiT の隠された特徴と非生成的教師(例えば DINO)の特徴とを一致させる表現アライメント(REPA) -- は、初期のエポックを劇的に加速させるが、その後パフォーマンスを低下させる。
生成学習者が共同データ分布をモデル化し始めると、教師の低次元埋め込みと注意パターンがガイドではなくストラトジャケットになる。
HASTEを紹介する
論文 参考訳(メタデータ) (2025-05-22T15:34:33Z) - Semantic Latent Space Regression of Diffusion Autoencoders for Vertebral
Fracture Grading [72.45699658852304]
本稿では,教師なし特徴抽出器として生成拡散オートエンコーダモデルを訓練するための新しい手法を提案する。
フラクチャーグレーディングを連続回帰としてモデル化し, フラクチャーのスムーズな進行を反映した。
重要なことに,本手法の創成特性は,与えられた脊椎の様々な段階を可視化し,自動グルーピングに寄与する特徴を解釈し,洞察することを可能にする。
論文 参考訳(メタデータ) (2023-03-21T17:16:01Z) - Calibrated Teacher for Sparsely Annotated Object Detection [35.74904852812749]
完全な教師付きオブジェクト検出には、すべてのインスタンスに注釈を付けるトレーニングイメージが必要である。
これは、高い労力と時間コストと避けられないアノテーションのため、実際には現実的ではありません。
近年,アノテーションの欠落に対して擬似ラベルを生成することで,オブジェクト検出の容易化が図られている。
本稿では,予測の信頼度を実際の精度に合わせるために,校正教師を提案する。
論文 参考訳(メタデータ) (2023-03-14T02:02:39Z) - Adversarial robustness of VAEs through the lens of local geometry [1.2228014485474623]
可変オートエンコーダ (VAEs) に対する教師なし攻撃では、敵は入力サンプルに小さな摂動を発見し、潜時空間の符号化を著しく変化させる。
本稿では, VAEを攻撃するための最適手法として, プルバック計量テンソルの方向バイアスを利用する方法を示す。
論文 参考訳(メタデータ) (2022-08-08T05:53:57Z) - Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。
尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。
そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
論文 参考訳(メタデータ) (2022-01-08T07:48:36Z) - Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese
Grammatical Error Correction [49.25830718574892]
本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。
ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。
標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
論文 参考訳(メタデータ) (2021-06-03T05:56:57Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。