論文の概要: Cut Less, Fold More: Model Compression through the Lens of Projection Geometry

• arxiv url: http://arxiv.org/abs/2602.18116v1
• Date: Fri, 20 Feb 2026 10:09:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.292293
• Title: Cut Less, Fold More: Model Compression through the Lens of Projection Geometry
• Title（参考訳）: 射影幾何学のレンズによるモデル圧縮
• Authors: Olga Saukh, Dong Wang, Haris Šikić, Yun Cheng, Lothar Thiele,
• Abstract要約: 投影幾何学のレンズによるキャリブレーションフリー圧縮について検討する。 演算子として定式化し、1のランク距離で折り畳むとパラメータ再構成誤差が小さくなることを示す。 以上の結果から, 折り畳みは, 理論上は上向きで, 原理上は上向きであるプルーニングに代わる幾何学的, キャリブレーションのない代替品として位置づけられる。
• 参考スコア（独自算出の注目度）: 12.652240359673328
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Compressing neural networks without retraining is vital for deployment at scale. We study calibration-free compression through the lens of projection geometry: structured pruning is an axis-aligned projection, whereas model folding performs a low-rank projection via weight clustering. We formalize both as orthogonal operators and show that, within a rank distance of one, folding provably yields smaller parameter reconstruction error, and under mild smoothness assumptions, smaller functional perturbations than pruning. At scale, we evaluate >1000 checkpoints spanning ResNet18, PreActResNet18, ViT-B/32, and CLIP ViT-B/32 on CIFAR-10 and ImageNet-1K, covering diverse training hyperparameters (optimizers, learning rates, augmentations, regularization, sharpness-aware training), as well as multiple LLaMA-family 60M and 130M parameter models trained on C4. We show that folding typically achieves higher post-compression accuracy, with the largest gains at moderate-high compression. The gap narrows and occasionally reverses at specific training setups. Our results position folding as a geometry-aware, calibration-free alternative to pruning that is often superior in practice and principled in theory.
• Abstract（参考訳）: 再トレーニングなしでニューラルネットワークを圧縮することは、大規模に展開するのに不可欠である。 構造的プルーニングは軸方向のプロジェクションであり、モデル折り畳みは重みクラスタリングによる低ランクプロジェクションを実行する。 直交作用素として定式化するとともに, 折り畳みによってパラメータ再構成誤差が小さくなり, 軽度な滑らかさ仮定の下では, プルーニングよりも関数摂動が小さくなることを示す。 CIFAR-10およびImageNet-1Kでは,ResNet18,PreActResNet18,ViT-B/32,CLIP ViT-B/32にまたがる1000のチェックポイントが評価され,C4でトレーニングされた複数のLLaMAファミリー60Mおよび130Mパラメータモデルに加えて,さまざまなトレーニングハイパーパラメータ(最適化,学習率,拡張,正規化,シャープネス対応トレーニング)がカバーされた。 その結果, 折り畳みは圧縮後精度が向上し, 圧縮時の最大利得は中程度の圧縮であることがわかった。 ギャップは狭くなり、特定のトレーニング設定で時々逆になる。 以上の結果から, 折り畳みは, 理論上は上向きで, 理論上は上向きであるプルーニングに代わる幾何学的, キャリブレーションのない代替品として位置づけられる。

関連論文リスト

• Gradually Compacting Large Language Models for Reasoning Like a Boiling Frog [72.4168434368873]
  大きな言語モデル(LLM)は印象的な推論能力を示しているが、その相当なサイズは、しばしばかなりの計算資源を必要とする。 圧縮過程を細かな繰り返しに分割する段階的圧縮法を提案する。 この「沸騰するカエル」効果の反復的なアプローチは、急激な性能損失を伴わずに、モデルを段階的に圧縮することができる。
  論文  参考訳（メタデータ） (2026-02-04T06:56:52Z)
• Weight Variance Amplifier Improves Accuracy in High-Sparsity One-Shot Pruning [2.0541440514363365]
  ワンショットプルーニングは、追加のトレーニングなしでモデルサイズの削減に有効な戦略である。 本稿では、学習中のモデルパラメータの分散を意図的に増大させる可変増幅正規化器(VAR)を提案する。
  論文  参考訳（メタデータ） (2025-11-18T09:18:26Z)
• ProfilingAgent: Profiling-Guided Agentic Reasoning for Adaptive Model Optimization [7.64805011214817]
  プロファイリングツールは、レイヤごとのレイテンシ、メモリ、計算コストを公開しますが、自動化パイプラインに統合されることはめったにありません。 提案するProfilingAgentは,大規模言語モデル(LLM)を用いて,構造化プルーニングと後学習動的量子化による圧縮を自動化するエージェント手法である。
  論文  参考訳（メタデータ） (2025-09-06T04:02:04Z)
• Smooth Model Compression without Fine-Tuning [14.381101636079872]
  ニューラルネットワークのトレーニングとモデル圧縮に対するスムーズな正規化の影響について検討する。 その結果,スムーズなモデルに適用した場合,標準的な刈り取り方式の方がよくなることがわかった。 我々の手法は、微調整なしで最先端の圧縮を可能にする。
  論文  参考訳（メタデータ） (2025-05-30T11:13:48Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Just CHOP: Embarrassingly Simple LLM Compression [27.64461490974072]
  LLM(Large Language Model)は、非並列の少数およびゼロショット推論機能を実現するが、高い計算フットプリントを実現する。 拡張言語モデル事前学習と組み合わせた単純なレイヤプルーニングは、7Bスケールでモデルの構造的および半構造化された圧縮に対して最先端の結果をもたらすことを示す。 また,より小さなBERT型モデルのタスク非依存圧縮において非常に効果的であった蒸留が,我々の単純な刈り取り技術に対して非効率になることを示す。
  論文  参考訳（メタデータ） (2023-05-24T08:18:35Z)
• Surrogate Lagrangian Relaxation: A Path To Retrain-free Deep Neural Network Pruning [9.33753001494221]
  ネットワークプルーニングは、ディープニューラルネットワークの計算コストとモデルサイズの削減に広く用いられている手法である。 本稿では,サロゲートラグランジアン緩和に基づく体系的な重み付け最適化手法を開発する。
  論文  参考訳（メタデータ） (2023-04-08T22:48:30Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• CrAM: A Compression-Aware Minimizer [103.29159003723815]
  本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。 CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。 CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。