論文の概要: Supervised Compression for Resource-constrained Edge Computing Systems

• arxiv url: http://arxiv.org/abs/2108.11898v1
• Date: Sat, 21 Aug 2021 11:10:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-29 12:13:24.315751
• Title: Supervised Compression for Resource-constrained Edge Computing Systems
• Title（参考訳）: 資源制約付きエッジコンピューティングシステムの最適化圧縮
• Authors: Yoshitomo Matsubara, Ruihan Yang, Marco Levorato, Stephan Mandt
• Abstract要約: フルスケールのディープニューラルネットワークは、エネルギーとストレージの面でリソース集約的すぎることが多い。 本稿では、知識蒸留とニューラルイメージ圧縮のアイデアを採用し、中間特徴表現をより効率的に圧縮する。 教師付きレート歪み性能を向上するとともに、エンドツーエンドのレイテンシも小さくする。
• 参考スコア（独自算出の注目度）: 26.676557573171618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been much interest in deploying deep learning algorithms on low-powered devices, including smartphones, drones, and medical sensors. However, full-scale deep neural networks are often too resource-intensive in terms of energy and storage. As a result, the bulk part of the machine learning operation is therefore often carried out on an edge server, where the data is compressed and transmitted. However, compressing data (such as images) leads to transmitting information irrelevant to the supervised task. Another popular approach is to split the deep network between the device and the server while compressing intermediate features. To date, however, such split computing strategies have barely outperformed the aforementioned naive data compression baselines due to their inefficient approaches to feature compression. This paper adopts ideas from knowledge distillation and neural image compression to compress intermediate feature representations more efficiently. Our supervised compression approach uses a teacher model and a student model with a stochastic bottleneck and learnable prior for entropy coding. We compare our approach to various neural image and feature compression baselines in three vision tasks and found that it achieves better supervised rate-distortion performance while also maintaining smaller end-to-end latency. We furthermore show that the learned feature representations can be tuned to serve multiple downstream tasks.
• Abstract（参考訳）: スマートフォンやドローン、医療センサーなど、低消費電力のデバイスにディープラーニングアルゴリズムをデプロイすることに関心がある。 しかし、フルスケールのディープニューラルネットワークはエネルギーとストレージの面で資源集約的すぎることが多い。 そのため、データを圧縮して送信するエッジサーバでは、機械学習操作のバルク部が頻繁に実行される。 しかし、データ(画像など)を圧縮すると、監視されたタスクとは無関係な情報を送信する。 もうひとつの一般的なアプローチは、中間機能を圧縮しながらデバイスとサーバの間にディープネットワークを分割することである。 しかし、これまでのところ、これらの分割コンピューティング戦略は、機能圧縮に対する非効率なアプローチのため、前述のナイーブなデータ圧縮ベースラインをわずかに上回っている。 本稿では、知識蒸留とニューラルイメージ圧縮のアイデアを採用し、中間特徴表現をより効率的に圧縮する。 教師モデルと生徒モデルを用いて,エントロピー符号化に先立って確率的ボトルネックと学習可能な圧縮手法を開発した。 3つのビジョンタスクにおいて,我々のアプローチを様々なニューラルイメージと特徴圧縮ベースラインと比較し,より小さなレイテンシを維持しながら,教師付きレートゆがみ性能を向上できることを見出した。 さらに、学習した特徴表現が複数の下流タスクに役立てるように調整可能であることを示す。

関連論文リスト

• UniCompress: Enhancing Multi-Data Medical Image Compression with Knowledge Distillation [59.3877309501938]
  Inlicit Neural Representation (INR) ネットワークは、その柔軟な圧縮比のため、顕著な汎用性を示している。 周波数領域情報を含むコードブックをINRネットワークへの事前入力として導入する。 これにより、INRの表現力が向上し、異なる画像ブロックに対して特異な条件付けが提供される。
  論文  参考訳（メタデータ） (2024-05-27T05:52:13Z)
• Chain of Compression: A Systematic Approach to Combinationally Compress Convolutional Neural Networks [3.309813585671485]
  畳み込みニューラルネットワーク(CNN)は非常に人気があるが、その計算とメモリの強度は、リソース制約の計算システムに課題をもたらす。 量子化、プルーニング、早期出口、知識蒸留といった多くのアプローチは、ニューラルネットワークの冗長性を減少させる効果を示している。 本稿では、ニューラルネットワークの圧縮にこれらの一般的な手法を適用するために、組み合わせシーケンスで動作する圧縮の連鎖を提案する。
  論文  参考訳（メタデータ） (2024-03-26T07:26:00Z)
• Streaming Lossless Volumetric Compression of Medical Images Using Gated Recurrent Convolutional Neural Network [0.0]
  本稿では,ハードウェアフレンドリーなストリーミングロスレスボリューム圧縮フレームワークを提案する。 本稿では,多種多様な畳み込み構造と融合ゲート機構を組み合わせたゲートリカレント畳み込みニューラルネットワークを提案する。 提案手法は,堅牢な一般化能力と競争圧縮速度を示す。
  論文  参考訳（メタデータ） (2023-11-27T07:19:09Z)
• Towards Hardware-Specific Automatic Compression of Neural Networks [0.0]
  プルーニングと量子化が ニューラルネットワークを圧縮する主要なアプローチです 効率的な圧縮ポリシーは、特定のハードウェアアーキテクチャが使用する圧縮方法に与える影響を考慮する。 本稿では,プレニングと量子化を利用した強化学習を用いて,Galenと呼ばれるアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-15T13:34:02Z)
• Crowd Counting on Heavily Compressed Images with Curriculum Pre-Training [90.76576712433595]
  ディープニューラルネットワークによって処理された画像に損失圧縮を適用することで、大幅な精度低下につながる可能性がある。 カリキュラム学習のパラダイムに着想を得て,圧縮画像の群集カウントのためのカリキュラム事前学習(CPT)と呼ばれる新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-15T08:43:21Z)
• COIN++: Data Agnostic Neural Compression [55.27113889737545]
  COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。 様々なデータモダリティを圧縮することで,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-01-30T20:12:04Z)
• On Effects of Compression with Hyperdimensional Computing in Distributed Randomized Neural Networks [6.25118865553438]
  ランダム化ニューラルネットワークと超次元計算に基づく分散分類モデルを提案する。 本研究では,従来の圧縮アルゴリズムや次元減少,量子化技術と比較し,より柔軟な圧縮手法を提案する。
  論文  参考訳（メタデータ） (2021-06-17T22:02:40Z)
• Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
  本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。 高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
  論文  参考訳（メタデータ） (2020-11-17T20:32:57Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。