論文の概要: MI-to-Mid Distilled Compression (M2M-DC): An Hybrid-Information-Guided-Block Pruning with Progressive Inner Slicing Approach to Model Compression

• arxiv url: http://arxiv.org/abs/2511.06842v2
• Date: Tue, 18 Nov 2025 01:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 13:59:16.477621
• Title: MI-to-Mid Distilled Compression (M2M-DC): An Hybrid-Information-Guided-Block Pruning with Progressive Inner Slicing Approach to Model Compression
• Title（参考訳）: MI-to-Mid Distilled Compression (M2M-DC): 内面スライシングによるハイブリッド情報誘導ブロックのモデル圧縮
• Abstract要約: そこで我々は,MI-to-Mid Distilled Compression (M2M-DC) について紹介する。 M2M-DCは、ラベル対応の相互情報信号によって残留ブロックをランク付けする。 その後、短いKD相をステージコヒーレントで残留安全なチャネルスライシングと交換する。
• 参考スコア（独自算出の注目度）: 2.351601888896043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce MI-to-Mid Distilled Compression (M2M-DC), a two-scale, shape-safe compression framework that interleaves information-guided block pruning with progressive inner slicing and staged knowledge distillation (KD). First, M2M-DC ranks residual (or inverted-residual) blocks by a label-aware mutual information (MI) signal and removes the least informative units (structured prune-after-training). It then alternates short KD phases with stage-coherent, residual-safe channel slicing: (i) stage "planes" (co-slicing conv2 out-channels with the downsample path and next-stage inputs), and (ii) an optional mid-channel trim (conv1 out / bn1 / conv2 in). This targets complementary redundancy, whole computational motifs and within-stage width while preserving residual shape invariants. On CIFAR-100, M2M-DC yields a clean accuracy-compute frontier. For ResNet-18, we obtain 85.46% Top-1 with 3.09M parameters and 0.0139 GMacs (72% params, 63% GMacs vs. teacher; mean final 85.29% over three seeds). For ResNet-34, we reach 85.02% Top-1 with 5.46M params and 0.0195 GMacs (74% / 74% vs. teacher; mean final 84.62%). Extending to inverted-residuals, MobileNetV2 achieves a mean final 68.54% Top-1 at 1.71M params (27%) and 0.0186 conv GMacs (24%), improving over the teacher's 66.03% by +2.5 points across three seeds. Because M2M-DC exposes only a thin, architecture-aware interface (blocks, stages, and down sample/skip wiring), it generalizes across residual CNNs and extends to inverted-residual families with minor legalization rules. The result is a compact, practical recipe for deployment-ready models that match or surpass teacher accuracy at a fraction of the compute.
• Abstract（参考訳）: MI-to-Mid Distilled Compression (M2M-DC) は、情報誘導型ブロックプルーニングとプログレッシブインナースライシングとステージドナレッジ蒸留(KD)をインターリーブする2スケールの形状安全圧縮フレームワークである。 第一に、M2M-DCはラベル対応の相互情報(MI)信号によって残余ブロックをランク付けし、最小情報単位(構造化プルーネアフタートレーニング)を除去する。 その後、短いKD相とステージコヒーレントで残留安全なチャネルスライシングを交互に行う。 一 段落「平面」、及び (ii)オプションの中間チャネルトリム(conv1 out / bn1 / conv2 in)。 これは相補的冗長性、全体の計算モチーフ、ステージ内幅を目標とし、残形不変性を保っている。 CIFAR-100では、M2M-DCはクリーンな精度計算フロンティアが得られる。 ResNet-18では、Top-1が85.46%、パラメータが3.09M、GMacが0.0139(パラムが72%、GMacが63%、教師が63%、最終は85.29%)。 ResNet-34では85.02%のTop-1に5.46Mのパラムと0.0195のGMac(教師対74%、最終84.62%)がある。 逆残差に拡張すると、MobileNetV2は1.71Mパラム(27%)で平均68.54%のTop-1、0.0186のconv GMac(24%)を達成し、教師の66.03%を3つの種で+2.5ポイント改善した。 M2M-DCは、細いアーキテクチャを意識したインタフェース(ブロック、ステージ、ダウンサンプル/スキップ配線)しか公開しないため、残留CNNをまたいで一般化し、小さな合法化ルールを持つ反転残留族にまで拡張する。 その結果は、計算のごく一部で教師の正確さにマッチしたり、超えたりできる、デプロイ可能なモデルのための、コンパクトで実用的なレシピである。

関連論文リスト

• Cross-Architecture Knowledge Distillation from a Vision Foundation Model to a Lightweight Visual State Space Model for Tea Leaf Disease Classification [10.122947222129108]
  DINOv2のような自己監督型ビジョンファウンデーションモデルは強力な機能を提供するが、フィールド展開には大きすぎる。 微調整DINOv2教師からコンパクトな双方向視覚空間モデルへのクロスアーキテクチャ知識の蒸留について検討した。 我々は,SSM学生が限られたデータで学習することを防ぐ2つのトレーニング安定問題を同定し,修正する。
  論文  参考訳（メタデータ） (2026-08-27T08:02:05Z)
• Multi-Teacher Contrastive Distillation for Edge-Efficient Pathology Foundation Models [1.9573380763700714]
  複数のPFMから小型エッジ指向エンコーダに冷凍タイル埋め込みを蒸留する事前学習フレームワーク MuCoDi を提案する。 11.8KのWSIから14.3MのTCGAタイルをプレトレーニングし、23の下流分類タスクで凍結エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2026-07-06T18:14:37Z)
• VectraYX-Nano: A 42M-Parameter Spanish Cybersecurity Language Model with Curriculum Learning and Native Tool Use [0.0]
  VectraYX-Nanoは、41.95Mパラメータのデコーダのみの言語モデルで、スクラッチから訓練されたスペイン語でサイバーセキュリティを提供する。 クラウドコンピューティングの25ドルで8VMの分散パイプラインで組み立てられた170万のスペインのコーパスは、3つのカリキュラムフェーズ(会話42M、サイバーセキュリティ118M、攻撃ツール10M)に分けられる。 SFT (loss 1.74) の後、v2 ブートストラップ-アブレーション参照は 0.775 +/ の会話ゲートを得る。
  論文  参考訳（メタデータ） (2026-05-13T18:03:07Z)
• BoostLoRA: Growing Effective Rank by Boosting Adapters [3.022272657109967]
  BoostLoRAは、最小限のアダプタを反復的にトレーニングしマージすることで制限を克服するグラデーションブースティングフレームワークである。 本手法は, 実効的ランクがトレーニングによって増大する最初のPEFT法であり, ラウンドごとのパラメータコストと総表現能力とを分離する。
  論文  参考訳（メタデータ） (2026-04-30T01:43:00Z)
• THEIA: Learning Complete Kleene Three-Valued Logic in a Pure-Neural Modular Architecture [0.0]
  THEIAは2.75Mのモジュラー・ニューラルアーキテクチャで、外部のシンボル推論や手書きのK3ゲートプリミティブを使わずにタスクデータから完全Kleene 3値論理(K3)真理表を学習する。 トランスフォーマーのベースラインは39の規則すべてで99%に到達し、フラットは0.04pp以内のフェーズ1の精度でTheIAと一致している。
  論文  参考訳（メタデータ） (2026-04-13T10:44:15Z)
• MEMENTO: Teaching LLMs to Manage Their Own Context [50.3558738319336]
  推論モデルは、自身の中間状態を圧縮または整理するメカニズムのない、長い、構造化されていないストリームを思い浮かべる。 MementO: ブロックに推論を分割し、各ブロックをメメントに圧縮し、メメントにのみ参加して推論を行う方法をモデルに教える手法を紹介する。 OpenMementos上の2段階のSFTレシピは、異なるモデルファミリやスケールで有効であることを示す。
  論文  参考訳（メタデータ） (2026-04-10T19:30:29Z)
• Parameter Reduction Improves Vision Transformers: A Comparative Study of Sharing and Width Reduction [0.0]
  我々は、ImageNet-1K上で、ViT-B/16に適用した2つの簡易還元戦略について検討した。 その結果,パラメータ共有や幅の縮小といったアーキテクチャ上の制約が,帰納的バイアスとして有用であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-30T20:04:30Z)
• Time-Series at the Edge: Tiny Separable CNNs for Wearable Gait Detection and Optimal Sensor Placement [3.7765281299298015]
  我々は,3軸加速度の短い窓から発生するパーキンソン病(PD)の歩行検出のためのデバイス上での時系列解析について検討した。 1つの文献ベースライン(分離可能な畳み込み)と2つのウルトラライトモデル(純粋に分離可能なもの)である。
  論文  参考訳（メタデータ） (2025-11-29T08:52:41Z)
• Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization [6.908972852063454]
  境界距離回帰(BDR)は、分類を符号付き距離回帰とゼロクロス抽出に置き換える。 BDRは約50行のコードで既存のメソッドに適合し、mAP@0.7を1.8から3.1%改善する(平均+2.4)。 THUMOS14では151GのFLOPで56.5%のmAP@0.7、Uniform-6の198Gで53.6%を達成した。
  論文  参考訳（メタデータ） (2025-11-06T00:41:54Z)
• Exploring the Hierarchical Reasoning Model for Small Natural-Image Classification Without Augmentation [51.56484100374058]
  MNIST、CIFAR-10、CIFAR-100で意図的に生の条件下で評価される。 拡張性のない小型画像分類では、HRMは単純な畳み込みアーキテクチャと競合するものではないと結論付けている。
  論文  参考訳（メタデータ） (2025-10-04T01:22:41Z)
• IMAGINE: An 8-to-1b 22nm FD-SOI Compute-In-Memory CNN Accelerator With an End-to-End Analog Charge-Based 0.15-8POPS/W Macro Featuring Distribution-Aware Data Reshaping [0.6071203743728119]
  作業負荷適応型1-to-8b CIM-CNNアクセラレータであるIMAGINEを22nm FD-SOIで紹介する。 1152x256のエンドツーエンドのチャージベースマクロと、パワーハングリーDACを回避する入力シリアル、ウェイトパラレルの蓄積に基づくマルチビットDPを導入している。 測定結果は、MNISTとCIFAR-10の競争力を持つ、0.3/0.6Vで40TOPS/Wの8b系レベルのエネルギー効率を示す。
  論文  参考訳（メタデータ） (2024-12-27T17:18:15Z)
• Multi-Feature Fusion and Compressed Bi-LSTM for Memory-Efficient Heartbeat Classification on Wearable Devices [0.0]
  多機能核融合と双方向長短期記憶(Bi-LSTM)を用いた心電図(ECG)を用いた心拍分類の資源効率向上手法を提案する。 このデータセットは、MIT-BIH Arrhythmia Database: Normal (N)、Left Bundle Branch Block (LBBB)、Right Bundle Branch Block (RBBB)、Premature Ventricular Contraction (PVC)、Paced Beat (PB)の5つのオリジナルクラスで構成されている。
  論文  参考訳（メタデータ） (2024-05-24T07:53:27Z)
• SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation [53.675725490807615]
  SDPoseは小型変圧器モデルの性能向上のための新しい自己蒸留法である。 SDPose-Tは4.4Mパラメータと1.8 GFLOPを持つ69.7%のmAPを取得し、SDPose-S-V2はMSCOCO検証データセット上で73.5%のmAPを取得する。
  論文  参考訳（メタデータ） (2024-04-04T15:23:14Z)
• Filter Pruning For CNN With Enhanced Linear Representation Redundancy [3.853146967741941]
  本稿では,CCM-loss という同一層内の異なる特徴写像の相関行列から計算したデータ駆動損失関数の項を示す。 CCM-lossは、L*-ノルム正規化以外に、別の普遍的超越数学的ツールを提供する。 新しい戦略では、主にネットワーク内の情報フローの整合性と整合性に注目します。
  論文  参考訳（メタデータ） (2023-10-10T06:27:30Z)
• Self-Supervised Learning based on Heat Equation [75.61974935666446]
  本稿では,熱方程式を高次元特徴空間に拡張した自己教師型学習の新たな視点を提案する。 我々は x と y の軸を 2 つの一階線型微分方程式として分割することで単純化する。 これにより、QB-Heatと呼ばれる非常に単純なマスク付き画像モデリング(MIM)手法が導入された。
  論文  参考訳（メタデータ） (2022-11-23T18:59:59Z)
• SplitMixer: Fat Trimmed From MLP-like Models [53.12472550578278]
  視覚認識のためのシンプルで軽量な等方的アーキテクチャであるSplitMixerを提案する。 情報(空間混合)とチャネル(チャネル混合)の2種類のインターリーブ畳み込み操作を含む。
  論文  参考訳（メタデータ） (2022-07-21T01:37:07Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Comparing CTC and LFMMI for out-of-domain adaptation of wav2vec 2.0 acoustic model [6.338178373376447]
  wav2vec 2.0自己監督プリトレーニングが、接続主義の時系列分類におけるオーバーフィット問題を緩和するのに役立つかどうかを検討する。 wav2vec 2.0モデルの教師付き適応には、E2E-LFMMIとCTCの両方が同様の結果を得る。 babel言語では,スワヒリ語では26%,スワヒリ語では23%,タガログ語では17%,タガログ語では17%の相対的改善が得られた。
  論文  参考訳（メタデータ） (2021-04-06T14:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。