論文の概要: WithinVAE: Compact Visual Autoencoding with Self-Distilled Semantics

• arxiv url: http://arxiv.org/abs/2610.36593v1
• Date: Tue, 27 Oct 2026 03:53:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.478584
• Title: WithinVAE: Compact Visual Autoencoding with Self-Distilled Semantics
• Title（参考訳）: withinVAE: 自己蒸留セマンティックスを用いたコンパクトなビジュアルオートエンコーディング
• Abstract要約: 本研究では,自己エンコーダの自己再構成表現の内部で意味構造が学習可能であることを示す。 内部VAEは、連続的なボトルネックを持つコンパクトな変分視覚オートエンコーダである。
• 参考スコア（独自算出の注目度）: 80.96906059982237
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Visual autoencoders must balance reconstruction fidelity, compactness, and semantic structure. Existing semantic tokenizers typically inherit semantics from pretrained recognition encoders, whose invariances can discard the appearance detail required for inversion. We show that this inheritance is unnecessary: semantic structure can be learned inside an autoencoder's own reconstructive representation. We introduce WithinVAE, a compact variational visual autoencoder with a sequential bottleneck, DINO/iBOT-style self-distillation from an exponential-moving-average copy of the autoencoder itself, and position-dependent token masking to achieve a 4-fold compression ratio, which is free of pretrained representation encoder or external semantic target. On ImageNet-1K at $256\times256$, WithinVAE improves all four reported reconstruction metrics over RPiAE including PSNR by 1.36 dB, while using half its latent scalar capacity. Under frozen evaluation, the same latents improve linear probing by 6.5 points over RPiAE and 5.1 points over our reconstruction-only baseline, attributing the semantic gains to self-distillation rather than architecture or external supervision. An auxiliary latent-to-latent model reproduces the ordered-compression trend, and a pixel-to-latent model transfers the objective to a pretrained generative space. These results separate the origin of semantic supervision from its use: a compact visual autoencoder can organize semantic structure without borrowing a recognition representation.
• Abstract（参考訳）: ビジュアルオートエンコーダは、再現性、コンパクト性、セマンティック構造をバランスさせなければならない。 既存のセマンティックトークンは、通常、事前訓練された認識エンコーダからセマンティックスを継承する。 セマンティック構造は、オートエンコーダ自身の再構成表現の内部で学習することができる。 InsideVAEは、逐次ボトルネックを持つコンパクトな変動型視覚自己エンコーダ、オートエンコーダ自体の指数移動平均コピーからのDINO/iBOTスタイルの自己蒸留、およびプリトレーニングされた表現エンコーダや外部セマンティックターゲットのない4倍圧縮比を達成するために位置依存トークンマスキングを導入する。 ImageNet-1Kの$256\times256$では、InsideVAEはPSNRを含むRPiAE上の4つのリコンストラクション指標を1.36dB改善し、遅延スカラー容量の半分を使用する。 凍結条件下では、同じ潜伏剤がRPiAEの6.5ポイント、再建のみのベースラインの5.1ポイントで線形探索を改善し、アーキテクチャや外部監督よりも自己蒸留に意味的利益をもたらす。 補助ラテント・ト・ラテントモデルが順序圧縮傾向を再現し、画素・ト・ラテントモデルが目標を事前訓練された生成空間に転送する。 コンパクトな視覚オートエンコーダは、認識表現を借りることなく意味構造を整理することができる。

関連論文リスト

• RAE-AR: Taming Autoregressive Models with Representation Autoencoders [61.73674018219353]
  分散正規化によるトークンの単純化により、モデリングの難易度を緩和し、収束性を向上させる。 我々は、露光バイアスを軽減するために、訓練中にガウスノイズ注入を取り入れて予測を強化する。 この作業は、視覚的理解と生成的モデリングをまたいだ、より統一されたアーキテクチャの道を開く。
  論文  参考訳（メタデータ） (2026-04-02T02:39:28Z)
• DINO-SAE: DINO Spherical Autoencoder for High-Fidelity Image Reconstruction and Generation [47.409626500688866]
  本稿では,DINO Spherical Autoencoder(DINO-SAE)について述べる。 提案手法は, 既修のVFMと強いセマンティックアライメントを維持しつつ, 0.37 rFID と 26.2 dB PSNR に到達し, 最先端の再現性を実現する。
  論文  参考訳（メタデータ） (2026-01-30T12:25:34Z)
• VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
  VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。 デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。 VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
  論文  参考訳（メタデータ） (2025-11-28T17:26:34Z)
• Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
  本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。 KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:12:26Z)
• From Points to Spheres: A Geometric Reinterpretation of Variational Autoencoders [0.0]
  変分オートエンコーダは一般に確率的推論の観点から理解される。 本研究では,確率論的視点を補完し,その直感性を向上する新しい幾何学的解釈を提案する。
  論文  参考訳（メタデータ） (2025-07-23T06:52:00Z)
• Scaling and evaluating sparse autoencoders [37.72612863761559]
  k-スパースオートエンコーダを用いたオートエンコーダスケーリングの特性について検討した。 オートエンコーダのサイズと空間性に関して、クリーンなスケーリング法則を見つけます。 我々は、400億トークンのGPT-4アクティベーションに対して1600万の潜伏オートエンコーダをトレーニングする。
  論文  参考訳（メタデータ） (2024-06-06T14:10:12Z)
• Self-Supervised Point Cloud Representation Learning with Occlusion Auto-Encoder [63.77257588569852]
  本稿では,3D Occlusion Auto-Encoder(3D-OAE)を提案する。 私たちのキーとなるアイデアは、入力ポイントクラウドのローカルパッチをランダムに排除し、隠されたパッチを復元することで監督を確立することです。 従来の手法とは対照的に、我々の3D-OAEは大量のパッチを除去し、少数の可視パッチでしか予測できない。
  論文  参考訳（メタデータ） (2022-03-26T14:06:29Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。