論文の概要: STARFISH: faST Accuracy Recovery in pruned networks From Internal State Healing

• arxiv url: http://arxiv.org/abs/2606.01126v1
• Date: Sun, 31 May 2026 09:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.263934
• Title: STARFISH: faST Accuracy Recovery in pruned networks From Internal State Healing
• Title（参考訳）: STARFISH: 内部状態修復によるプルーニングネットワークにおけるfaST精度回復
• Authors: Shir Maon, Odelia Melamed, Adi Shamir,
• Abstract要約: 本稿では,どの切断ネットワークの精度も効率的に回復できる新しい治癒法STARFISHを提案する。 重量の50%を除去する一般的な場合、STARFISHヒーリングは、ViTベースのネットワーク上での最先端手法に比べて、回復した精度を最大22%向上させる。
• 参考スコア（独自算出の注目度）: 5.441911428976922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruning is a process designed to reduce the number of weights in a large neural network. This can substantially speed up inference but might cause a considerable reduction in the model's accuracy, and thus it is usually followed by a healing process that regains some of the lost accuracy. In this paper, we propose a new healing method, STARFISH, that can recover (most of) the accuracy of any pruned network efficiently. The main idea of STARFISH is to optimize the pruned network to align with the original network's internal state representations using a tiny calibration set of unlabeled examples. For the common case of removing 50% of the weights, STARFISH healing improves the recovered accuracy by up to 22% over the state-of-the-art methods on ViT-based networks. Its advantage is even more pronounced under aggressive pruning. For example, after eliminating 75% of the weights in a DeiT-B network for ImageNet, STARFISH uses only 0.4% of the number of training images as a calibration set and recovers 82% of the original dense accuracy, whereas competing recovery techniques reach only 40% of the dense model accuracy.
• Abstract（参考訳）: プルーニング(英: Pruning)とは、大規模ニューラルネットワークにおける重みを減らすために設計されたプロセスである。 これは推論を大幅に高速化するが、モデルの精度が大幅に低下する可能性があるため、通常は、失われた精度を回復する治癒過程が続く。 本稿では,任意の切断ネットワークの精度を効率的に回復できる新しい治癒法STARFISHを提案する。 STARFISHの主なアイデアは、未表示の小さなキャリブレーションセットを使用して、プルーンドネットワークを最適化して、元のネットワークの内部状態表現と整合させることである。 重量の50%を除去する一般的な場合、STARFISHヒーリングは、ViTベースのネットワーク上での最先端手法に比べて、回復した精度を最大22%向上させる。 その利点は、攻撃的な刈り込みでさらに顕著に発音される。 例えば、ImageNetのDeiT-Bネットワークで75%の重みを排除した後、STARFISHは校正セットとしてトレーニング画像の0.4%しか使用せず、元の密度精度の82%を回復する一方、競合するリカバリ技術は密度モデルの精度の40%にしか達しない。

関連論文リスト

• Loss-Aware Automatic Selection of Structured Pruning Criteria for Deep Neural Network Acceleration [1.3225694028747144]
  本稿では,深層ニューラルネットワークのスリム化と高速化に有効なLAASP(Los-Aware Automatic Selection of Structured Pruning Criteria)を提案する。 刈り取り訓練アプローチは第1段階を排除し、第2段階と第3段階を1サイクルに統合する。 CIFAR-10およびImageNetベンチマークデータセットにおけるVGGNetとResNetモデルの実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-06-25T06:18:46Z)
• NeRF-based CBCT Reconstruction needs Normalization and Initialization [53.58395475423445]
  NeRFベースの手法は、ハッシュエンコーダとニューラルネットワークという2つの主要なコンポーネント間の局所的な訓練ミスマッチに悩まされる。 特徴整合性を高め、ミスマッチを緩和する正規化ハッシュを導入する。 ニューラルネットワークは早期トレーニング中に安定性が向上し、より高速な収束と再構築性能が向上する。
  論文  参考訳（メタデータ） (2025-06-24T16:01:45Z)
• Signal Collapse in One-Shot Pruning: When Sparse Models Fail to Distinguish Neural Representations [2.209921757303168]
  重み選択を最適化するのではなく、緩和信号の崩壊がプルーニングネットワークの精度向上の鍵であることを示す。 トレーニング可能な重みを更新することなく,信号の崩壊に対処するREFLOWを提案する。 我々は、ResNeXt101の精度をImageNetで4.1%未満から78.9%に復元し、重量の20%しか残っていない。
  論文  参考訳（メタデータ） (2025-02-18T15:47:33Z)
• Pruning On-the-Fly: A Recoverable Pruning Method without Fine-tuning [12.90416661059601]
  本稿では,超球面学習と損失ペナルティ項に基づく再学習不要プルーニング手法を提案する。 提案された損失ペナルティ項は、モデルの重みのいくつかをゼロから遠ざけ、残りの重みの値は0に近いように押し付ける。 提案手法は,プルーンド値を平均値に置き換えることで,プルーンドモデルの精度を即座に回復することができる。
  論文  参考訳（メタデータ） (2022-12-24T04:33:03Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Post-training deep neural network pruning via layer-wise calibration [70.65691136625514]
  本論文では,自動合成フラクタル画像に基づくコンピュータビジョンモデルに対するデータフリーな拡張を提案する。 実データを使用する場合は、トレーニング後の設定で65%の間隔で8ビットの精度でImageNet上のResNet50モデルを取得できます。
  論文  参考訳（メタデータ） (2021-04-30T14:20:51Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)
• Picking Winning Tickets Before Training by Preserving Gradient Flow [9.67608102763644]
  効率的なトレーニングには,ネットワーク内の勾配流の保存が必要である,と我々は主張する。 CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNetにおいて, 提案手法の有効性を実験的に検討した。
  論文  参考訳（メタデータ） (2020-02-18T05:14:47Z)
• Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
  本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。 ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
  論文  参考訳（メタデータ） (2020-02-07T18:34:31Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。