論文の概要: Progressive Multi-Ancestor Bit-Depth Distillation

• arxiv url: http://arxiv.org/abs/2610.04100v1
• Date: Fri, 02 Oct 2026 22:09:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 20:11:56.31647
• Title: Progressive Multi-Ancestor Bit-Depth Distillation
• Title（参考訳）: プログレッシブマルチアンサービット深度蒸留
• Abstract要約: 我々は、textbfProgressive textbfMulti-textbfAncestor textbfBit-depth textbfDistillationとして知られる統一されたフレームワークを提案する。 高い精度の祖先教師のプールを通じて知識を伝達しながら、ネットワークを圧縮する。
• 参考スコア（独自算出の注目度）: 5.975445385072139
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model compression strategies are widely employed to reduce memory footprint and network complexity, particularly for devices with constrained computational, memory, and energy resources. Prior works that rely on simultaneous conversion from floating-point high-precision (FP32) to integer low-precision (INT4) representations and distillation into smaller models suffer from unstable training and drastic degradation of prediction performance. To address these limitations, we propose a unified framework, known as \textbf{P}rogressive \textbf{M}ulti-\textbf{A}ncestor \textbf{B}it-depth \textbf{D}istillation (PMABD), that progressively compresses the network while transferring knowledge through a growing pool of higher-precision ancestor teachers. PMABD generates a sequence of intermediate teachers that each learn from all higher-precision ancestors and jointly supervise the final target student. This multi-ancestor, multi-stage design stabilizes ultra-low-bit quantization by lowering quantization noise profiles across training and ensuring stable quantization. Experiments on CIFAR-10/100 with ResNet-20/32/18, and Tiny-ImageNet with MobileNetV2 show that PMABD outperforms state-of-the-art compression frameworks, results in 1.06$\%$ increase in performance of W2A2 (ResNet-18/CIFAR-100) student model. We show that a saturation-based stopping criterion contributes to improve the performance of our final student.
• Abstract（参考訳）: モデル圧縮戦略は、特に制約のある計算、メモリ、エネルギー資源を持つデバイスにおいて、メモリフットプリントとネットワークの複雑さを減らすために広く用いられている。 浮動小数点高精度 (FP32) から整数小精度 (INT4) への同時変換と小さなモデルへの蒸留は、不安定なトレーニングと予測性能の劇的な劣化に悩まされる。 これらの制約に対処するため、我々は、高度に精度の高い祖先教師のプールを通じて知識を伝達しながら、ネットワークを漸進的に圧縮する、統合されたフレームワーク、いわゆる \textbf{P}rogressive \textbf{M}ulti-\textbf{A}ncestor \textbf{B}it-depth \textbf{D}istillation (PMABD)を提案する。 PMABDは、すべての高精度な祖先から学び、最終ターゲットの学生を共同で監督する中間教師の列を生成する。 このマルチアンセスタ・マルチステージ設計は、トレーニング全体にわたって量子化ノイズプロファイルを低くし、安定した量子化を確保することで、超低ビット量子化を安定化する。 CIFAR-10/100 with ResNet-20/32/18 と Tiny-ImageNet with MobileNetV2 の実験では、PMABD は最先端の圧縮フレームワークより優れており、その結果、W2A2 (ResNet-18/CIFAR-100) の学生モデルのパフォーマンスが1.06$$$%向上している。 飽和度に基づく停止基準が,最終学年のパフォーマンス向上に寄与することを示す。

関連論文リスト

• DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
  本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。 メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。 EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
  論文  参考訳（メタデータ） (2026-04-13T03:19:36Z)
• A Multi-Stage Optimization Framework for Deploying Learned Image Compression on FPGAs [7.577235739757108]
  ディープラーニングベースの画像圧縮(lic)は、最先端のレート歪み(RD)性能を達成したが、これらのモデルをリソース制約付きFPGAにデプロイすることは大きな課題である。 この研究は、高性能浮動小数点モデルと効率的なハードウェアフレンドリな整数ベースの実装とのギャップを埋める、完全なマルチステージ最適化フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-11-21T10:55:44Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• PMQ-VE: Progressive Multi-Frame Quantization for Video Enhancement [83.89668902758243]
  多フレームビデオ強調タスクは、ビデオシーケンスの空間的および時間的解像度と品質を改善することを目的としている。 映像強調のためのプログレッシブマルチフレーム量子化(PMQ-VE)を提案する。 このフレームワークは、バックトラックベースマルチフレーム量子化(BMFQ)とプログレッシブマルチ教師蒸留(PMTD)という、粗大な2段階のプロセスを備えている。
  論文  参考訳（メタデータ） (2025-05-18T07:10:40Z)
• Retraining-free Model Quantization via One-Shot Weight-Coupling Learning [41.299675080384]
  混合精度量子化(MPQ)は、層に不均一なビット幅を割り当てることで、モデルを効果的に圧縮することを提唱する。 MPQは典型的には、探索訓練された2段階のプロセスに編成される。 本稿では,混合精度モデル圧縮のためのワンショットトレーニング探索パラダイムを考案する。
  論文  参考訳（メタデータ） (2024-01-03T05:26:57Z)
• DQ-BART: Efficient Sequence-to-Sequence Model via Joint Distillation and Quantization [75.72231742114951]
  BARTやT5のような大規模事前学習シーケンス・ツー・シーケンスモデルは、多くの生成NLPタスクで最先端のパフォーマンスを達成する。 これらのモデルは、大きなメモリ要件と高いレイテンシのため、リソース制約のあるシナリオにおいて大きな課題となる。 そこで,本論文では,教師モデルから学生モデルへの知識の伝達と,学生モデルの定量化と定量化について提案する。
  論文  参考訳（メタデータ） (2022-03-21T18:04:25Z)
• Sharpness-aware Quantization for Deep Neural Networks [45.150346855368]
  シャープネス・アウェア量子化(SAQ)は,シャープネス・アウェア最小化(SAM)がモデル圧縮に与える影響を探索する新しい手法である。 本研究では,SAQにより量子化モデルの一般化性能が向上し,SOTAの結果が均一に量子化されることを示す。
  論文  参考訳（メタデータ） (2021-11-24T05:16:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。