論文の概要: MI-to-Mid Distilled Compression (M2M-DC): An Hybrid-Information-Guided-Block Pruning with Progressive Inner Slicing Approach to Model Compression

• arxiv url: http://arxiv.org/abs/2511.06842v2
• Date: Tue, 18 Nov 2025 01:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 13:59:16.477621
• Title: MI-to-Mid Distilled Compression (M2M-DC): An Hybrid-Information-Guided-Block Pruning with Progressive Inner Slicing Approach to Model Compression
• Title（参考訳）: MI-to-Mid Distilled Compression (M2M-DC): 内面スライシングによるハイブリッド情報誘導ブロックのモデル圧縮
• Authors: Lionel Levine, Haniyeh Ehsani Oskouie, Sajjad Ghiasvand, Majid Sarrafzadeh,
• Abstract要約: そこで我々は,MI-to-Mid Distilled Compression (M2M-DC) について紹介する。 M2M-DCは、ラベル対応の相互情報信号によって残留ブロックをランク付けする。 その後、短いKD相をステージコヒーレントで残留安全なチャネルスライシングと交換する。
• 参考スコア（独自算出の注目度）: 2.351601888896043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce MI-to-Mid Distilled Compression (M2M-DC), a two-scale, shape-safe compression framework that interleaves information-guided block pruning with progressive inner slicing and staged knowledge distillation (KD). First, M2M-DC ranks residual (or inverted-residual) blocks by a label-aware mutual information (MI) signal and removes the least informative units (structured prune-after-training). It then alternates short KD phases with stage-coherent, residual-safe channel slicing: (i) stage "planes" (co-slicing conv2 out-channels with the downsample path and next-stage inputs), and (ii) an optional mid-channel trim (conv1 out / bn1 / conv2 in). This targets complementary redundancy, whole computational motifs and within-stage width while preserving residual shape invariants. On CIFAR-100, M2M-DC yields a clean accuracy-compute frontier. For ResNet-18, we obtain 85.46% Top-1 with 3.09M parameters and 0.0139 GMacs (72% params, 63% GMacs vs. teacher; mean final 85.29% over three seeds). For ResNet-34, we reach 85.02% Top-1 with 5.46M params and 0.0195 GMacs (74% / 74% vs. teacher; mean final 84.62%). Extending to inverted-residuals, MobileNetV2 achieves a mean final 68.54% Top-1 at 1.71M params (27%) and 0.0186 conv GMacs (24%), improving over the teacher's 66.03% by +2.5 points across three seeds. Because M2M-DC exposes only a thin, architecture-aware interface (blocks, stages, and down sample/skip wiring), it generalizes across residual CNNs and extends to inverted-residual families with minor legalization rules. The result is a compact, practical recipe for deployment-ready models that match or surpass teacher accuracy at a fraction of the compute.
• Abstract（参考訳）: MI-to-Mid Distilled Compression (M2M-DC) は、情報誘導型ブロックプルーニングとプログレッシブインナースライシングとステージドナレッジ蒸留(KD)をインターリーブする2スケールの形状安全圧縮フレームワークである。 第一に、M2M-DCはラベル対応の相互情報(MI)信号によって残余ブロックをランク付けし、最小情報単位(構造化プルーネアフタートレーニング)を除去する。 その後、短いKD相とステージコヒーレントで残留安全なチャネルスライシングを交互に行う。 一 段落「平面」、及び (ii)オプションの中間チャネルトリム(conv1 out / bn1 / conv2 in)。 これは相補的冗長性、全体の計算モチーフ、ステージ内幅を目標とし、残形不変性を保っている。 CIFAR-100では、M2M-DCはクリーンな精度計算フロンティアが得られる。 ResNet-18では、Top-1が85.46%、パラメータが3.09M、GMacが0.0139(パラムが72%、GMacが63%、教師が63%、最終は85.29%)。 ResNet-34では85.02%のTop-1に5.46Mのパラムと0.0195のGMac(教師対74%、最終84.62%)がある。 逆残差に拡張すると、MobileNetV2は1.71Mパラム(27%)で平均68.54%のTop-1、0.0186のconv GMac(24%)を達成し、教師の66.03%を3つの種で+2.5ポイント改善した。 M2M-DCは、細いアーキテクチャを意識したインタフェース(ブロック、ステージ、ダウンサンプル/スキップ配線)しか公開しないため、残留CNNをまたいで一般化し、小さな合法化ルールを持つ反転残留族にまで拡張する。 その結果は、計算のごく一部で教師の正確さにマッチしたり、超えたりできる、デプロイ可能なモデルのための、コンパクトで実用的なレシピである。

関連論文リスト

• Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization [6.908972852063454]
  境界距離回帰(BDR)は、分類を符号付き距離回帰とゼロクロス抽出に置き換える。 BDRは約50行のコードで既存のメソッドに適合し、mAP@0.7を1.8から3.1%改善する(平均+2.4)。 THUMOS14では151GのFLOPで56.5%のmAP@0.7、Uniform-6の198Gで53.6%を達成した。
  論文  参考訳（メタデータ） (2025-11-06T00:41:54Z)
• Exploring the Hierarchical Reasoning Model for Small Natural-Image Classification Without Augmentation [51.56484100374058]
  MNIST、CIFAR-10、CIFAR-100で意図的に生の条件下で評価される。 拡張性のない小型画像分類では、HRMは単純な畳み込みアーキテクチャと競合するものではないと結論付けている。
  論文  参考訳（メタデータ） (2025-10-04T01:22:41Z)
• IMAGINE: An 8-to-1b 22nm FD-SOI Compute-In-Memory CNN Accelerator With an End-to-End Analog Charge-Based 0.15-8POPS/W Macro Featuring Distribution-Aware Data Reshaping [0.6071203743728119]
  作業負荷適応型1-to-8b CIM-CNNアクセラレータであるIMAGINEを22nm FD-SOIで紹介する。 1152x256のエンドツーエンドのチャージベースマクロと、パワーハングリーDACを回避する入力シリアル、ウェイトパラレルの蓄積に基づくマルチビットDPを導入している。 測定結果は、MNISTとCIFAR-10の競争力を持つ、0.3/0.6Vで40TOPS/Wの8b系レベルのエネルギー効率を示す。
  論文  参考訳（メタデータ） (2024-12-27T17:18:15Z)
• Multi-Feature Fusion and Compressed Bi-LSTM for Memory-Efficient Heartbeat Classification on Wearable Devices [0.0]
  多機能核融合と双方向長短期記憶(Bi-LSTM)を用いた心電図(ECG)を用いた心拍分類の資源効率向上手法を提案する。 このデータセットは、MIT-BIH Arrhythmia Database: Normal (N)、Left Bundle Branch Block (LBBB)、Right Bundle Branch Block (RBBB)、Premature Ventricular Contraction (PVC)、Paced Beat (PB)の5つのオリジナルクラスで構成されている。
  論文  参考訳（メタデータ） (2024-05-24T07:53:27Z)
• SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation [53.675725490807615]
  SDPoseは小型変圧器モデルの性能向上のための新しい自己蒸留法である。 SDPose-Tは4.4Mパラメータと1.8 GFLOPを持つ69.7%のmAPを取得し、SDPose-S-V2はMSCOCO検証データセット上で73.5%のmAPを取得する。
  論文  参考訳（メタデータ） (2024-04-04T15:23:14Z)
• Filter Pruning For CNN With Enhanced Linear Representation Redundancy [3.853146967741941]
  本稿では,CCM-loss という同一層内の異なる特徴写像の相関行列から計算したデータ駆動損失関数の項を示す。 CCM-lossは、L*-ノルム正規化以外に、別の普遍的超越数学的ツールを提供する。 新しい戦略では、主にネットワーク内の情報フローの整合性と整合性に注目します。
  論文  参考訳（メタデータ） (2023-10-10T06:27:30Z)
• SplitMixer: Fat Trimmed From MLP-like Models [53.12472550578278]
  視覚認識のためのシンプルで軽量な等方的アーキテクチャであるSplitMixerを提案する。 情報(空間混合)とチャネル(チャネル混合)の2種類のインターリーブ畳み込み操作を含む。
  論文  参考訳（メタデータ） (2022-07-21T01:37:07Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Comparing CTC and LFMMI for out-of-domain adaptation of wav2vec 2.0 acoustic model [6.338178373376447]
  wav2vec 2.0自己監督プリトレーニングが、接続主義の時系列分類におけるオーバーフィット問題を緩和するのに役立つかどうかを検討する。 wav2vec 2.0モデルの教師付き適応には、E2E-LFMMIとCTCの両方が同様の結果を得る。 babel言語では,スワヒリ語では26%,スワヒリ語では23%,タガログ語では17%,タガログ語では17%の相対的改善が得られた。
  論文  参考訳（メタデータ） (2021-04-06T14:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。