論文の概要: SAFE: Finding Sparse and Flat Minima to Improve Pruning

• arxiv url: http://arxiv.org/abs/2506.06866v1
• Date: Sat, 07 Jun 2025 17:12:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:47.059301
• Title: SAFE: Finding Sparse and Flat Minima to Improve Pruning
• Title（参考訳）: SAFE: パンニングを改善するためにスパースとフラットミニマを見つける
• Authors: Dongyeop Lee, Kwanhee Lee, Jinseok Chung, Namhoon Lee,
• Abstract要約: 平坦度を目的とする空間制約最適化問題としてプルーニングを定式化する。 本稿では,SAFEと拡張されたSAFE$+$を提案する。 SAFEは、競争力と確立されたベースラインを比較することで、より優れた一般化性能を持つスパースネットワークを一貫して獲得する。
• 参考スコア（独自算出の注目度）: 5.523554757946985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparsifying neural networks often suffers from seemingly inevitable performance degradation, and it remains challenging to restore the original performance despite much recent progress. Motivated by recent studies in robust optimization, we aim to tackle this problem by finding subnetworks that are both sparse and flat at the same time. Specifically, we formulate pruning as a sparsity-constrained optimization problem where flatness is encouraged as an objective. We solve it explicitly via an augmented Lagrange dual approach and extend it further by proposing a generalized projection operation, resulting in novel pruning methods called SAFE and its extension, SAFE$^+$. Extensive evaluations on standard image classification and language modeling tasks reveal that SAFE consistently yields sparse networks with improved generalization performance, which compares competitively to well-established baselines. In addition, SAFE demonstrates resilience to noisy data, making it well-suited for real-world conditions.
• Abstract（参考訳）: スパシフィケーションニューラルネットワークは、必然的なパフォーマンス劣化に悩まされることが多く、最近の進歩にもかかわらず、元のパフォーマンスを回復することは依然として困難である。 頑健な最適化の最近の研究により、我々は、疎らで平坦なサブネットワークを同時に見つけ出すことによって、この問題に対処することを目指している。 具体的には、平坦度を目的とする空間制約付き最適化問題としてプルーニングを定式化する。 拡張されたラグランジュ双対アプローチを用いて明確に解き、一般化された射影演算を提案してさらに拡張し、SAFEと呼ばれる新しいプルーニング法、SAFE$^+$となる。 標準画像分類と言語モデリングタスクの広範囲な評価により、SAFEは、より優れた一般化性能を持つスパースネットワークを一貫して獲得し、競争力と十分に確立されたベースラインとを比較した。 さらに、SAFEはノイズの多いデータに対するレジリエンスを示し、現実世界の状況に適している。

関連論文リスト

• Unified Enhancement of the Generalization and Robustness of Language Models via Bi-Stage Optimization [2.502393972789905]
  本稿では,LMの一般化とロバスト性の両方を均一に向上する二段階最適化フレームワークを提案する。 提案手法は,従来の手法と比較して,LMの一般化とロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-03-19T13:50:36Z)
• SASSHA: Sharpness-aware Adaptive Second-order Optimization with Stable Hessian Approximation [5.523554757946985]
  サシャ (Sassha) は、解の鋭さを明示的に減らし、一般化を強化するために設計された新しい二階法である。 収束性、堅牢性、安定性、効率性、コストなど、包括的な分析セットを提供する。
  論文  参考訳（メタデータ） (2025-02-25T12:35:05Z)
• Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning [63.55145330447408]
  異常セグメンテーションのための textbfSelf-textbfPerceptinon textbfTuning (textbfSPT) 法を提案する。 SPT法は, 自己描画型チューニング戦略を取り入れ, 異常マスクの初期粗いドラフトを生成し, 精製処理を行う。
  論文  参考訳（メタデータ） (2024-11-26T08:33:25Z)
• Sparsest Models Elude Pruning: An Exposé of Pruning's Current Capabilities [4.842973374883628]
  プルーニングは大規模モデルを圧縮するための有望なアプローチとして現れてきたが、モデルの範囲を回復する効果はまだ検討されていない。 我々は485,838の実験を行い、キュビストスパイラルと名付けられた合成データセットに最先端のプルーニングアルゴリズムを適用した。 そこで本研究では,新たな探索アルゴリズムによって同定した,理想的なスパースネットワークと比較して,性能の差が顕著であった。
  論文  参考訳（メタデータ） (2024-07-04T17:33:15Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Back to Basics: Efficient Network Compression via IMP [22.586474627159287]
  イテレーティブ・マグニチュード・プルーニング(IMP)は、ネットワーク・プルーニングにおける最も確立されたアプローチの1つである。 IMPは、トレーニングフェーズにスパーシフィケーションを組み込まないことで、最適以下の状態に達するとしばしば主張される。 再学習のためのSLRを用いたIMPは、最先端のプルーニング訓練手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-11-01T11:23:44Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。