論文の概要: Knowledge Distillation for Visual Autoregressive Models

• arxiv url: http://arxiv.org/abs/2606.06078v1
• Date: Thu, 04 Jun 2026 12:15:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.779619
• Title: Knowledge Distillation for Visual Autoregressive Models
• Title（参考訳）: 視覚自己回帰モデルのための知識蒸留
• Authors: Elia Peruzzo, Aritra Bhowmik, Guillaume Sautiere, Yuki M Asano, Amirhossein Habibian,
• Abstract要約: VarKDは、教師の監督とトークンレベルの曖昧さを選択的に適用しながら、学生サンプルを蒸留する視覚的自己回帰モデルのためのフレームワークである。 複数のARバックボーンにわたるImageNetの実験では、VarKDは蒸留前のベースラインを一貫して上回り、大規模なモデルとのギャップを狭めている。
• 参考スコア（独自算出の注目度）: 33.47213811170716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive (AR) image generation models are highly expressive but computationally intensive, motivating effective model compression. Knowledge distillation (KD) is a natural approach for model compression and has been widely studied in language modeling, yet its behavior in visual AR generation remains underexplored. In this work, we present the first systematic study of distillation strategies for AR image models. Our analysis shows that while standard distillation can yield meaningful gains, recent methods developed for language do not directly transfer to images: long decoding horizons and visual token ambiguity make teacher supervision unreliable especially under student-conditioned contexts. To address this, we propose VarKD, a distillation framework for visual autoregressive models that distills on student samples while selectively applying teacher supervision and reducing token-level ambiguity. Experiments on ImageNet across multiple AR backbones show that VarKD consistently outperforms prior distillation baselines, narrowing the gap to large-scale models.
• Abstract（参考訳）: 自己回帰(AR)画像生成モデルは、非常に表現力が高いが、計算集約的で、効果的なモデル圧縮を動機としている。 知識蒸留(KD)は、モデル圧縮の自然なアプローチであり、言語モデリングにおいて広く研究されてきたが、視覚的AR生成におけるその挙動は未解明のままである。 本研究では,AR画像モデルの蒸留戦略に関する最初の体系的研究について述べる。 分析の結果, 標準蒸留法では有意義な利得が得られるが, 言語で開発された手法では画像への直接転送は行われていない。 そこで本研究では,教師の指導を選択的に適用し,トークンレベルの曖昧さを低減しつつ,学生サンプルを蒸留する視覚自己回帰モデルのための蒸留フレームワークであるVarKDを提案する。 複数のARバックボーンにわたるImageNetの実験では、VarKDは蒸留前のベースラインを一貫して上回り、大規模なモデルとのギャップを狭めている。

関連論文リスト

• DreamVAR: Taming Reinforced Visual Autoregressive Model for High-Fidelity Subject-Driven Image Generation [108.71044040025374]
  本稿では,視覚的自己回帰モデルに基づく主観的画像合成のための新しいフレームワークを提案する。 本研究では,Dreamtheが従来の拡散法よりも優れた外観保存を実現していることを示す。
  論文  参考訳（メタデータ） (2026-01-30T03:32:29Z)
• Distilling Lightweight Domain Experts from Large ML Models by Identifying Relevant Subspaces [17.627125013326175]
  「SubDistill」は、各層における教師モデルの関連成分のみを蒸留する数値特性を改良した新しい蒸留アルゴリズムである。 ベンチマーク評価は, 蒸留した学生モデルが元の教師モデルの判断構造とより密に一致していることを示す説明可能なAI分析によって補完される。
  論文  参考訳（メタデータ） (2026-01-09T16:28:55Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Progressive Distillation Based on Masked Generation Feature Method for Knowledge Graph Completion [29.297959023968165]
  そこで本稿では,KGCタスクのためのマスク生成機能に基づくプログレッシブ蒸留法を提案する。 具体的には、PLMの予蒸留を行い、高品質の教師モデルを取得し、PLMネットワークを圧縮し、マルチグレードの学生モデルを得る。 実験により, 予蒸留段階のモデルが, 既存の最先端手法を超越していることが実証された。
  論文  参考訳（メタデータ） (2024-01-19T07:34:36Z)
• SODA: Bottleneck Diffusion Models for Representation Learning [75.7331354734152]
  本稿では,表現学習のための自己教師付き拡散モデルSODAを紹介する。 このモデルには、ソースビューをコンパクトな表現に蒸留するイメージエンコーダが組み込まれており、関連する新規ビューの生成を導く。 エンコーダと復調復調復調復調復調復調復調復調復号器の密集ボトルネックを付与することにより,拡散モデルを強力な表現学習器に変換することができることを示す。
  論文  参考訳（メタデータ） (2023-11-29T18:53:34Z)
• Education distillation:getting student models to learn in shcools [11.017346789801238]
  本稿では,教育蒸留(ED)と呼ばれる新しい知識蒸留法を紹介する。 EDは小学校、中学校、大学の教育段階を模倣し、参照ブロックをデザインする。 CIFAR100、Tiny Imagenet、Caltech、Food-101データセットの実験結果は、指導基準ブロックが忘れることの問題を効果的に回避できることを示している。
  論文  参考訳（メタデータ） (2023-11-23T05:20:18Z)
• Anomaly Detection via Reverse Distillation from One-Class Embedding [2.715884199292287]
  教師エンコーダと生徒デコーダからなる新しいT-Sモデルを提案する。 生画像を直接受信する代わりに、学生ネットワークは教師モデルの1クラス埋め込みを入力として取り込む。 さらに、T-Sモデルにトレーニング可能な1クラスボトルネック埋め込みモジュールを導入する。
  論文  参考訳（メタデータ） (2022-01-26T01:48:37Z)
• Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition [124.80263629921498]
  アーキテクチャ制約を同時に破りながら知識蒸留を入力レベルまで拡張するPixel Distillationを提案する。 このようなスキームは、ネットワークアーキテクチャと画像品質の両方をリソースの全体的な要求に応じて調整できるため、展開のための柔軟なコスト制御を実現することができる。
  論文  参考訳（メタデータ） (2021-12-17T14:31:40Z)
• Autoregressive Knowledge Distillation through Imitation Learning [70.12862707908769]
  我々は,知識蒸留における模倣学習の観点から駆動される自己回帰モデルに対する圧縮手法を開発した。 本手法は,シーケンスレベルの知識蒸留など,他の蒸留アルゴリズムより一貫して優れている。 また,本手法を訓練した学生は,スクラッチからトレーニングした生徒よりも1.4～4.8BLEU/ROUGEポイント高く,教師モデルと比較して推論速度を最大14倍に向上させた。
  論文  参考訳（メタデータ） (2020-09-15T17:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。