論文の概要: Auto-Compressing Subset Pruning for Semantic Image Segmentation

• arxiv url: http://arxiv.org/abs/2201.11103v1
• Date: Wed, 26 Jan 2022 18:25:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 13:32:14.174359
• Title: Auto-Compressing Subset Pruning for Semantic Image Segmentation
• Title（参考訳）: セマンティクス画像セグメンテーションのための自動圧縮サブセットプルーニング
• Authors: Konstantin Ditschuneit and Johannes S. Otterbach
• Abstract要約: 最先端セマンティックセグメンテーションモデルは高いパラメータ数と遅い推論時間によって特徴づけられる。 我々は,新しいオンライン圧縮手法として,textsc-Auto Subset Pruning, acospを提案する。 acospは概念的にはシンプルで実装が容易で、他のデータモダリティ、タスク、アーキテクチャに簡単に一般化できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art semantic segmentation models are characterized by high parameter counts and slow inference times, making them unsuitable for deployment in resource-constrained environments. To address this challenge, we propose \textsc{Auto-Compressing Subset Pruning}, \acosp, as a new online compression method. The core of \acosp consists of learning a channel selection mechanism for individual channels of each convolution in the segmentation model based on an effective temperature annealing schedule. We show a crucial interplay between providing a high-capacity model at the beginning of training and the compression pressure forcing the model to compress concepts into retained channels. We apply \acosp to \segnet and \pspnet architectures and show its success when trained on the \camvid, \city, \voc, and \ade datasets. The results are competitive with existing baselines for compression of segmentation models at low compression ratios and outperform them significantly at high compression ratios, yielding acceptable results even when removing more than $93\%$ of the parameters. In addition, \acosp is conceptually simple, easy to implement, and can readily be generalized to other data modalities, tasks, and architectures. Our code is available at \url{https://github.com/merantix/acosp}.
• Abstract（参考訳）: 最先端のセマンティックセグメンテーションモデルは、高いパラメータ数と遅い推論時間によって特徴づけられ、リソース制約のある環境でのデプロイメントには適さない。 この課題に対処するため、新しいオンライン圧縮手法として、textsc{Auto-Compressing Subset Pruning}, \acospを提案する。 acospの中核は、効果的な温度アニーリングスケジュールに基づいて、セグメンテーションモデルにおける各畳み込みの各チャネルのチャネル選択メカニズムを学習することである。 トレーニング開始時に高容量モデルを提供することと、モデルが保持チャネルに概念を圧縮することを強制する圧縮圧力との間に重要な相互作用を示す。 我々は \segnet と \pspnet アーキテクチャに \acosp を適用し、 \camvid, \city, \voc, \ade データセットでトレーニングした場合の成功を示す。 その結果, 圧縮率の低いセグメンテーションモデルの圧縮に対する既存のベースラインと競合し, 高い圧縮比で性能を著しく向上し, パラメータの93%以上を除去しても許容できる結果を得た。 さらに、 \acospは概念的にはシンプルで実装が容易で、他のデータモダリティ、タスク、アーキテクチャに簡単に一般化できる。 私たちのコードは \url{https://github.com/merantix/acosp} で利用可能です。

関連論文リスト

• EvoPress: Towards Optimal Dynamic Model Compression via Evolutionary Search [33.86918407429272]
  本稿では, 与えられた入力範囲において, 確実に最適である動的圧縮に対する新しい, 汎用的なアプローチを提案する。 これらの理論的保証は、Llama, Mistral, Phiモデルの動的圧縮に高い競争力を与えることを示す。
  論文  参考訳（メタデータ） (2024-10-18T17:46:37Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Optimus-CC: Efficient Large NLP Model Training with 3D Parallelism Aware Communication Compression [8.591088380355252]
  攻撃的な通信圧縮を備えた大規模NLPモデルのための高速でスケーラブルな分散トレーニングフレームワークOptimus-CCを提案する。 本稿では,圧縮によるモデル品質低下を回避する手法を提案する。 我々は、GPUクラスタ上でソリューションを実証し、モデル品質を犠牲にすることなく、分散トレーニングのためのベースラインの最先端ソリューションから優れたスピードアップを実現する。
  論文  参考訳（メタデータ） (2023-01-24T06:07:55Z)
• Cross Modal Compression: Towards Human-comprehensible Semantic Compression [73.89616626853913]
  クロスモーダル圧縮は、視覚データのためのセマンティック圧縮フレームワークである。 提案したCMCは,超高圧縮比で再現性の向上が期待できることを示す。
  論文  参考訳（メタデータ） (2022-09-06T15:31:11Z)
• CrAM: A Compression-Aware Minimizer [103.29159003723815]
  本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。 CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。 CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Lossless Compression with Latent Variable Models [4.289574109162585]
  我々は「非対称数値系を持つビットバック」(bb-ans)と呼ぶ潜在変数モデルを用いる。 この方法は、エンコードおよびデコードステップをインターリーブし、データのバッチ圧縮時に最適なレートを達成する。 我々は,深層生成モデルを用いた圧縮の高速プロトタイピングのために開発したモジュール型ソフトウェアフレームワークである'craystack'について述べる。
  論文  参考訳（メタデータ） (2021-04-21T14:03:05Z)
• Conditional Automated Channel Pruning for Deep Neural Networks [22.709646484723876]
  任意の圧縮率を入力とし、対応する圧縮モデルを出力する条件付きモデルを開発する。 実験では、圧縮率が異なる結果のモデルは、既存の方法で圧縮されたモデルよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2020-09-21T09:55:48Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。