論文の概要: On the Failure of Boundary-Seeking Distillation in Bottlenecked Generative Architectures

• arxiv url: http://arxiv.org/abs/2607.15919v1
• Date: Fri, 17 Jul 2026 12:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.851067
• Title: On the Failure of Boundary-Seeking Distillation in Bottlenecked Generative Architectures
• Title（参考訳）: ボトルネック型生成アーキテクチャにおける境界探索蒸留の失敗について
• Authors: Mohamed Amine Kina,
• Abstract要約: 境界探索の原理がMNISTデータセットの実験を通して自己エンコーダ蒸留にまで拡張されるかどうかを検討する。 境界探索の目的は、ボトルネック生成アーキテクチャに基本的に不備があることが示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-free knowledge distillation transfers the knowledge encoded in a teacher model to a student model without access to the original training data. Prior work such as Contrastive Abductive Knowledge Extraction (CAKE) achieves this for classifiers by synthesizing samples near the teacher's decision boundary. In this work, we investigate whether this boundary-seeking principle extends to autoencoder distillation through experiments on the MNIST dataset . To enable a direct comparison, we reformulate continuous reconstruction as a dense, per-feature classification task, allowing the decoder to output categorical logits. We show that boundary-seeking objectives are fundamentally ill-posed in bottlenecked generative architectures. CAKE operates on a single, instance-level objective, but a decoder acts as an array of tightly coupled, feature-level classifiers constrained by a shared low-dimensional bottleneck. Independently sampling contrastive targets for these coupled outputs violates the geometry of the learned latent manifold and produces severe gradient conflicts instead of informative boundary samples. Manifold-aware synthesis bypasses these conflicts entirely and establishes an effective baseline for data-free generative distillation.
• Abstract（参考訳）: データフリーな知識蒸留は、教師モデルに符号化された知識を、元のトレーニングデータにアクセスすることなく、学生モデルに転送する。 コントラスト的帰納的知識抽出(CAKE)のような先行研究は、教師の判断境界付近でサンプルを合成することによって分類器に対してこれを達成している。 本研究では, この境界探索原理が, MNISTデータセットの実験を通して, オートエンコーダ蒸留にまで拡張されるかどうかを検討する。 直接比較を可能にするため、連続的な再構成を高密度かつ機能毎の分類タスクとして再構成し、デコーダが分類ロジットを出力できるようにする。 境界探索の目的は、ボトルネック生成アーキテクチャに基本的に不備があることが示される。 CAKEは単一のインスタンスレベルの目的に対して動作するが、デコーダは共有低次元ボトルネックによって制約された密結合された特徴レベルの分類器の配列として機能する。 これらの結合された出力に対する対照的なターゲットを独立にサンプリングすることは、学習された潜在多様体の幾何学に反し、情報的境界サンプルの代わりに厳しい勾配衝突を生成する。 マニフォールド対応合成はこれらの競合を完全に回避し、データフリーな生成蒸留の効果的なベースラインを確立する。

関連論文リスト

• Encoder-Decoder Manifold Alignment for Idempotent Generation [51.959208893243776]
  この失敗の主な理由は、エンコーダとデコーダによって学習された多様体間の幾何学的ミスマッチである。 我々は、エンコーダとデコーダに同じ基礎となるデータ多様体の一貫性のある表現を学習させ、このギャップを明示的に埋める新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-21T02:14:37Z)
• Beyond Raw Signals: Undecoded Generative Latents as Privileged Synthetic Data [36.037178298353844]
  マルチモーダル統合は、コンピュータビジョンモデルを大幅に改善し、それらをデプロイすると、違法な推論コストが発生し、完全にペア化されたデータセットが不足する。 最近の手法では、生成AIによるモダリティの欠如によって、このデータボトルネックに対処しているが、深刻な非効率性(Decode-Encode Loop)が導入されている。 本稿では,非復号型生成潜伏者を直接特権情報として活用するDLA(Direct Latent Augmentation)を提案する。 この知識を純粋に視覚的な学生に伝達するために,MESSy(Multilayer Explicit Simulated Synesthesia)を紹介する。
  論文  参考訳（メタデータ） (2026-06-06T21:02:44Z)
• One-Step Distillation of Discrete Diffusion Image Generators via Fixed-Point Iteration [20.457786704615454]
  Fixed-Point Distillation (FPD) は、学生の1段階のドラフトを部分的に破損させ、1段階の教師ステップで修正することで、局所的な修正ターゲットを構築するエンドツーエンドのフレームワークである。 FPDは、単一の推論ステップにおいて、競争力のある視覚的忠実度と構造的整合性を達成し、マルチステップの教師とのギャップを狭める。
  論文  参考訳（メタデータ） (2026-05-20T17:59:10Z)
• Modular Continual Learning via Zero-Leakage Reconstruction Routing and Autonomous Task Discovery [0.9137554315375919]
  ニューラルネットワークのシーケンシャルなタスク学習において、破滅的な忘れは依然として主要なハードルである。 本稿では,タスク特化専門家と分散型外乱型ゲートキーパーを用いた構造パラメータ分離を実現するシリコンネイティブなモジュールアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-04-15T19:48:40Z)
• Bidirectional Logits Tree: Pursuing Granularity Reconcilement in Fine-Grained Classification [89.20477310885731]
  本稿では,粒度分類タスクにおけるグラニュラリティコンペティションの課題について述べる。 既存のアプローチは通常、共通のベースエンコーダから抽出された共有特徴に基づいて、独立した階層認識モデルを開発する。 グラニュラリティ再構成のための双方向ロジットツリー(BiLT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-17T10:42:19Z)
• Zero-Shot Class Unlearning in CLIP with Synthetic Samples [0.0]
  私たちは、画像テキストペアの巨大なデータセットに基づいてトレーニングされたデュアルビジョン言語モデルであるCLIP内でのアンラーニングに重点を置いています。 リプシッツ正則化をCLIPのマルチモーダル文脈に適用する。 我々の忘れる手順は反復的であり、合成された忘れ物セットの精度を追跡し、選択された閾値未満の精度で停止する。
  論文  参考訳（メタデータ） (2024-07-10T09:16:14Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。