論文の概要: Forget the Data and Fine-Tuning! Just Fold the Network to Compress

• arxiv url: http://arxiv.org/abs/2502.10216v1
• Date: Fri, 14 Feb 2025 15:10:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:47:16.542482
• Title: Forget the Data and Fine-Tuning! Just Fold the Network to Compress
• Title（参考訳）: データと微調整を忘れるな! ネットワークを圧縮する
• Authors: Dong Wang, Haris Šikić, Lothar Thiele, Olga Saukh,
• Abstract要約: 構造的に類似したニューロンを層にマージする新しいデータフリーモデル圧縮技術であるモデルフォールディングを導入する。 モデル折り畳みはデータ駆動圧縮技術に匹敵する性能を示し,最近提案したデータフリー手法よりも優れていた。 このアプローチは大規模モデルを圧縮するのに特に有効であり、資源制約された環境への展開に適している。
• 参考スコア（独自算出の注目度）: 13.611551223875194
• License:
• Abstract: We introduce model folding, a novel data-free model compression technique that merges structurally similar neurons across layers, significantly reducing the model size without the need for fine-tuning or access to training data. Unlike existing methods, model folding preserves data statistics during compression by leveraging k-means clustering, and using novel data-free techniques to prevent variance collapse or explosion. Our theoretical framework and experiments across standard benchmarks, including ResNet18 and LLaMA-7B, demonstrate that model folding achieves comparable performance to data-driven compression techniques and outperforms recently proposed data-free methods, especially at high sparsity levels. This approach is particularly effective for compressing large-scale models, making it suitable for deployment in resource-constrained environments.
• Abstract（参考訳）: モデルフォールディングは、構造的に類似したニューロンを層にマージし、微調整やトレーニングデータへのアクセスを必要とせずにモデルサイズを大幅に削減する、新しいデータフリーモデル圧縮技術である。 既存の手法とは異なり、モデルフォールディングはk平均クラスタリングを活用して圧縮中のデータ統計を保存し、分散崩壊や爆発を防ぐために新しいデータフリー技術を使用する。 ResNet18やLLaMA-7Bといった標準ベンチマークの理論的枠組みと実験により、モデルフォールディングはデータ駆動圧縮技術に匹敵する性能を達成し、最近提案されたデータフリー手法、特に高空間レベルで性能を向上することを示した。 このアプローチは大規模モデルを圧縮するのに特に有効であり、資源制約された環境への展開に適している。

関連論文リスト

• Choose Your Model Size: Any Compression by a Single Gradient Descent [9.074689052563878]
  イテレーティブ・プルーニング(ACIP)による圧縮について紹介する。 ACIPは、単一の勾配降下ランから圧縮性能トレードオフを決定するアルゴリズム的なアプローチである。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• You Only Prune Once: Designing Calibration-Free Model Compression With Policy Learning [20.62274005080048]
  PruneNetは、ポリシー学習プロセスとしてモデルプルーニングを再構成する新しいモデル圧縮手法である。 LLaMA-2-7Bモデルはわずか15分で圧縮でき、ゼロショット性能の80%以上を維持できる。 複雑なマルチタスク言語理解タスクでは、PruneNetはオリジナルのモデルの80%のパフォーマンスを維持することで、その堅牢性を実証している。
  論文  参考訳（メタデータ） (2025-01-25T18:26:39Z)
• GoDe: Gaussians on Demand for Progressive Level of Detail and Scalable Compression [13.616981296093932]
  本稿では,ガウスを複数の階層構造に整理する,新しいモデルに依存しない手法を提案する。 この手法は最近の3DGSの圧縮手法と組み合わせて、単一のモデルで複数の圧縮比を瞬時にスケールすることができる。 典型的なデータセットやベンチマークに対するアプローチを検証し、スケーラビリティと適応性の観点から、低歪みと実質的な利得を示す。
  論文  参考訳（メタデータ） (2025-01-23T11:05:45Z)
• Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity [55.03958223190181]
  本稿では,データ類似性の下での非バイアス圧縮とバイアス圧縮を利用した,理論上初めての高速化アルゴリズムを提案する。 我々の結果は、異なる平均損失とデータセットに関する実験によって記録され、確認されています。
  論文  参考訳（メタデータ） (2024-12-21T00:40:58Z)
• Convex Distillation: Efficient Compression of Deep Networks via Convex Optimization [46.18363767705346]
  リソース制約のあるデバイスに大規模で複雑な凸ネットワークを配置することは、その要求のために大きな課題となった。 本稿では,本モデルを用いてモデルを効率よく圧縮する新しい蒸留技術を紹介する。 当社のアプローチでは,後処理を必要とせずに,オリジナルモデルに匹敵するパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-09T06:04:52Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Riemannian Low-Rank Model Compression for Federated Learning with Over-the-Air Aggregation [2.741266294612776]
  低ランクモデル圧縮は、機械学習モデルを訓練する際の計算負荷を減らすために広く使われている技法である。 既存の圧縮技術は、連合学習システムにおける効率の良いオーバー・ザ・エア(OTA)アグリゲーションには直接適用できない。 低ランク制約を緩和しないFLにおける低ランクモデル圧縮のための新しい多様体最適化法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T18:32:50Z)
• DualCF: Efficient Model Extraction Attack from Counterfactual Explanations [57.46134660974256]
  クラウドサービスプロバイダがMachine-Learning-as-a-Serviceプラットフォームをローンチした。 このような余分な情報は、必然的にクラウドモデルが、抽出攻撃に対してより脆弱になる。 本稿では,分類モデルを盗むためのクエリ効率を大幅に向上させる,新しい単純で効率的なクエリ手法を提案する。
  論文  参考訳（メタデータ） (2022-05-13T08:24:43Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。