論文の概要: LegoNet: Memory Footprint Reduction Through Block Weight Clustering

• arxiv url: http://arxiv.org/abs/2603.06606v1
• Date: Wed, 18 Feb 2026 12:09:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.424538
• Title: LegoNet: Memory Footprint Reduction Through Block Weight Clustering
• Title（参考訳）: LegoNet:ブロック重みクラスタリングによるメモリフットプリント削減
• Abstract要約: textbfLegoNetは,モデル全体の重みのブロックをレイヤタイプやクラスタによらず構築する圧縮手法である。 Cifar-10とImageNetでトレーニングされたResNet-50を324x4ブロックで圧縮することができ、メモリフットプリントを textbf64x で圧縮できた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the need for neural network-based applications to become more accurate and powerful grows, so too does their size and memory footprint. With embedded devices, whose cache and RAM are limited, this growth hinders their ability to leverage state-of-the-art neural network architectures. In this work, we propose \textbf{LegoNet}, a compression technique that \textbf{constructs blocks of weights of the entire model regardless of layer type} and clusters these induced blocks. Using blocks instead of individual values to cluster the weights, we were able to compress ResNet-50 trained for Cifar-10 and ImageNet with only 32 4x4 blocks, compressing the memory footprint by over a factor of \textbf{64x without having to remove any weights} or changing the architecture and \textbf{no loss to accuracy}, nor retraining or any data, and show how to find an arrangement of 16 4x4 blocks that gives a compression ratio of \textbf{128x with less than 3\% accuracy loss}. This was all achieved with \textbf{no need for (re)training or fine-tuning}.
• Abstract（参考訳）: ニューラルネットワークベースのアプリケーションがより正確でパワフルになる必要性が高まるにつれて、サイズやメモリフットプリントも大きくなる。 キャッシュとRAMが限られている組み込みデバイスでは、この成長は最先端のニューラルネットワークアーキテクチャを活用する能力を妨げている。 本研究では, モデル全体の重みのブロックを層の種類に関係なく構築する圧縮手法である \textbf{LegoNet} を提案し, これら誘導ブロックをクラスタ化する。 Cifar-10 と ImageNet でトレーニングされた ResNet-50 を 32 4x4 ブロックで圧縮し、メモリフットプリントを \textbf{64x の係数で圧縮したり、アーキテクチャや \textbf{no loss to accuracy} を変更したり、あるいはデータを再トレーニングしたり、あるいは、16 4x4 ブロックのアライメントを見つけ、その圧縮比率が 3\% 未満の精度損失で \textbf{128x となることを示すことができた。 これはすべて、(再)トレーニングや微調整が必要な \textbf{no で達成された。

関連論文リスト

• ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning [58.54940026861599]
  textscChunkFTはメモリ効率の良い微調整フレームワークである。 textscChunkFTは、ネットワークアーキテクチャを変更することなく任意のサブテンソルの勾配計算を可能にする。 textscChunkFTは、既存のメモリ効率のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-20T13:44:44Z)
• Compression is Routing: Reconstruction Error as an Intrinsic Signal for Modular Language Models [0.0]
  「この論文は、圧縮は知性である」という前提に基づいている。」 それは新しいアーキテクチャ哲学を提唱している: 圧縮はルーティングである。 超長期のコンテキストを扱うために、VRAM圧縮の新たな視点を提供する。
  論文  参考訳（メタデータ） (2025-12-18T09:02:03Z)
• BitStack: Any-Size Compression of Large Language Models in Variable Memory Environments [53.71158537264695]
  大規模言語モデル(LLM)は、多くのアプリケーションに革命をもたらしたが、ローカルデバイスにおけるメモリ制限により、その展開は依然として困難である。 textbfBitStackは,メモリ使用量とモデル性能のトレードオフを可能にする,新しいトレーニング不要な重み圧縮手法である。
  論文  参考訳（メタデータ） (2024-10-31T13:26:11Z)
• NeuZip: Memory-Efficient Training and Inference with Dynamic Compression of Neural Networks [30.224822087562163]
  NeuZipはニューラルネットワークにおける浮動小数点数のエントロピーに基づく新しい重み圧縮方式である。 Llama-3 8Bモデルのメモリフットプリントを31GBから16GB以下に大幅に削減した。 推定では, ほぼロスレス性能を維持しながら, メモリ使用量を半減することができる。
  論文  参考訳（メタデータ） (2024-10-28T01:12:20Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
  本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。 本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2024-08-19T01:30:14Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• Low-Rank+Sparse Tensor Compression for Neural Networks [11.632913694957868]
  本稿では,低ランクテンソル分解とスパースプルーニングを組み合わせることで,圧縮の粗さと微細構造を両立させることを提案する。 我々はSOTAアーキテクチャ(MobileNetv3、EfficientNet、Vision Transformer)の重みを圧縮し、この手法をスパースプルーニングとテンソル分解だけで比較する。
  論文  参考訳（メタデータ） (2021-11-02T15:55:07Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Deep Compression for PyTorch Model Deployment on Microcontrollers [0.2578242050187029]
  本稿では、モデル圧縮、特にDeep CompressionをUnluのarXivに関する初期の研究に追加する。 LeNet-5モデルの場合、メモリフットプリントは12.45倍に削減され、推論速度は2.57倍に向上した。
  論文  参考訳（メタデータ） (2021-03-29T22:08:44Z)
• Convolutional neural networks compression with low rank and sparse tensor decompositions [0.0]
  畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて顕著な結果を示す。 現実のアプリケーションでは、エッジシステムやモバイルデバイス上で走るのに十分高速で軽量なモデルを開発することが不可欠である。 本研究では,テンソル分解に基づくニューラルネットワーク圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T13:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。