論文の概要: A Simplex Witness Certificate for Constant Collapse in Variational Autoencoders
- arxiv url: http://arxiv.org/abs/2605.18224v1
- Date: Mon, 18 May 2026 11:09:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:49.487946
- Title: A Simplex Witness Certificate for Constant Collapse in Variational Autoencoders
- Title(参考訳): 変分オートエンコーダにおける一定崩壊の簡易性証明
- Authors: Zegu Zhang, Jianhua Peng, Jian Zhang,
- Abstract要約: このノートは変分オートエンコーダの正確な定数崩壊を研究する。
目標は、この特定の障害モードを事前設計可能で、トレーニング中に監視可能で、トレーニング後に認証できるようにすることです。
- 参考スコア(独自算出の注目度): 3.812090634738739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This note studies exact constant collapse in variational autoencoders, where the encoder mean becomes independent of the input. The goal is to make this specific failure mode pre-designable, monitorable during training, and certifiable after training. The prior is kept as the standard Gaussian. Given a fixed teacher posterior, we attach to the latent mean a fixed simplex witness head. The resulting teacher-student alignment loss has an exact constant-predictor baseline equal to the teacher information. If the alignment loss is below this baseline, the latent mean cannot be input-independent constant collapsed. The simplex witness also has a closed-form inverse. Any full-support teacher posterior can be represented by embedding its centered log-odds into the latent space. This gives an explicit latent energy cost and explains when the alignment loss can be made small. A computable view gap handles the case where teacher targets are computed from a different view. Thus exact constant collapse is converted from an after-the-fact training pathology into a design-and-certificate problem.
- Abstract(参考訳): このノートは、エンコーダ平均が入力から独立になるような変分オートエンコーダの正確な定数崩壊を研究する。
目標は、この特定の障害モードを事前設計可能で、トレーニング中に監視可能で、トレーニング後に認証できるようにすることです。
前者は標準ガウスとして維持される。
教師が固定された後、私たちは、固定された単純な目撃者の頭を意味する潜伏者に取り付けられます。
得られた教師学生アライメント損失は、教師情報に匹敵する正確な一定の予測基準線を有する。
もしアライメント損失がこのベースライン以下であれば、潜伏平均は入力独立定数崩壊することができない。
単純な目撃者もまた、閉じた形の逆数を持っている。
フルサポートされた教師は、その中心となる丸太を潜在空間に埋め込むことで表現できる。
これにより、明確な遅延エネルギーコストが得られ、アライメント損失を小さくすることができる。
計算可能なビューギャップは、教師の目標が異なるビューから計算される場合を扱う。
このように、正確な一定の崩壊は、アフター・ザ・ファクトのトレーニング病理からデザイン・アンド・認定問題に変換される。
関連論文リスト
- A Testable Certificate for Constant Collapse in Teacher-Guided VAEs [3.812090634738739]
変異型オートエンコーダの後方崩壊は、しばしばその症状によって診断される。
本研究では, 具体的故障モード, 入力非依存定数崩壊について検討し, 正確なしきい値が認められたことを示す。
論文 参考訳(メタデータ) (2026-05-07T07:48:41Z) - Beyond Logit Adjustment: A Residual Decomposition Framework for Long-Tailed Reranking [3.165340675929986]
縮小安定化されたクラスワイド項と、ショートリスト上の競合機能によって駆動される線形ペアワイド項を結合した軽量なポストホックリランカを開発する。
画像分類、種別認識、シーン認識、希少な疾患の診断を含む5つのベンチマークの実験では、分解によってペアワイズ補正がどこに役立ち、クラスワイズ補正だけで十分かを説明できる。
論文 参考訳(メタデータ) (2026-04-02T00:34:12Z) - Beyond the Loss Curve: Scaling Laws, Active Learning, and the Limits of Learning from Exact Posteriors [8.410613979416203]
実写画像で正確な後部を抽出可能なオラクルとして,クラス条件正規化フローを用いる。
我々のフレームワークは、標準メトリクスが進行中の学習を隠蔽し、アーキテクチャの違いを隠蔽し、分散シフトの性質を診断できないことを明らかにしている。
論文 参考訳(メタデータ) (2026-01-30T21:08:55Z) - Geometric-Disentangelment Unlearning [106.99160454669902]
忘れたサンプルへの勾配は しばしば 保持された知識を傷つける
本稿では,GU(Geometric-disment Unlearning)を提案する。
本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
論文 参考訳(メタデータ) (2025-11-21T09:58:25Z) - REPA Works Until It Doesn't: Early-Stopped, Holistic Alignment Supercharges Diffusion Training [58.33728862521732]
Diffusion Transformer (DiTs)は最先端の画像品質を提供するが、訓練は依然として遅い。
最近の治療 -- DiT の隠された特徴と非生成的教師(例えば DINO)の特徴とを一致させる表現アライメント(REPA) -- は、初期のエポックを劇的に加速させるが、その後パフォーマンスを低下させる。
生成学習者が共同データ分布をモデル化し始めると、教師の低次元埋め込みと注意パターンがガイドではなくストラトジャケットになる。
HASTEを紹介する
論文 参考訳(メタデータ) (2025-05-22T15:34:33Z) - Semantic Latent Space Regression of Diffusion Autoencoders for Vertebral
Fracture Grading [72.45699658852304]
本稿では,教師なし特徴抽出器として生成拡散オートエンコーダモデルを訓練するための新しい手法を提案する。
フラクチャーグレーディングを連続回帰としてモデル化し, フラクチャーのスムーズな進行を反映した。
重要なことに,本手法の創成特性は,与えられた脊椎の様々な段階を可視化し,自動グルーピングに寄与する特徴を解釈し,洞察することを可能にする。
論文 参考訳(メタデータ) (2023-03-21T17:16:01Z) - Calibrated Teacher for Sparsely Annotated Object Detection [35.74904852812749]
完全な教師付きオブジェクト検出には、すべてのインスタンスに注釈を付けるトレーニングイメージが必要である。
これは、高い労力と時間コストと避けられないアノテーションのため、実際には現実的ではありません。
近年,アノテーションの欠落に対して擬似ラベルを生成することで,オブジェクト検出の容易化が図られている。
本稿では,予測の信頼度を実際の精度に合わせるために,校正教師を提案する。
論文 参考訳(メタデータ) (2023-03-14T02:02:39Z) - Adversarial robustness of VAEs through the lens of local geometry [1.2228014485474623]
可変オートエンコーダ (VAEs) に対する教師なし攻撃では、敵は入力サンプルに小さな摂動を発見し、潜時空間の符号化を著しく変化させる。
本稿では, VAEを攻撃するための最適手法として, プルバック計量テンソルの方向バイアスを利用する方法を示す。
論文 参考訳(メタデータ) (2022-08-08T05:53:57Z) - Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。
尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。
そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
論文 参考訳(メタデータ) (2022-01-08T07:48:36Z) - Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese
Grammatical Error Correction [49.25830718574892]
本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。
ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。
標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
論文 参考訳(メタデータ) (2021-06-03T05:56:57Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。