論文の概要: FrankenSplit: Saliency Guided Neural Feature Compression with Shallow Variational Bottleneck Injection

• arxiv url: http://arxiv.org/abs/2302.10681v2
• Date: Mon, 20 Mar 2023 15:40:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 23:46:26.350195
• Title: FrankenSplit: Saliency Guided Neural Feature Compression with Shallow Variational Bottleneck Injection
• Title（参考訳）: FrankenSplit: 低変量ボトルネック注入によるサリエンシ誘導ニューラル特徴圧縮
• Authors: Alireza Furutanpey, Philipp Raith, Schahram Dustdar
• Abstract要約: 資源依存型圧縮モデルのための新しいフレームワークを導入し、非対称環境において我々の手法を広範囲に評価する。 提案手法は精度を低下させることなく最先端のSC法よりも60%低く,既存の標準よりも最大16倍高速である。
• 参考スコア（独自算出の注目度）: 2.94790896864764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rise of mobile AI accelerators allows latency-sensitive applications to execute lightweight Deep Neural Networks (DNNs) on the client side. However, critical applications require powerful models that edge devices cannot host and must therefore offload requests, where the high-dimensional data will compete for limited bandwidth. This work proposes shifting away from focusing on executing shallow layers of partitioned DNNs. Instead, it advocates concentrating the local resources on variational compression optimized for machine interpretability. We introduce a novel framework for resource-conscious compression models and extensively evaluate our method in an environment reflecting the asymmetric resource distribution between edge devices and servers. Our method achieves 60\% lower bitrate than a state-of-the-art SC method without decreasing accuracy and is up to 16x faster than offloading with existing codec standards.
• Abstract（参考訳）: モバイルAIアクセラレータの台頭により、レイテンシに敏感なアプリケーションは、クライアント側で軽量なDeep Neural Networks(DNN)を実行することができる。 しかし、重要なアプリケーションはエッジデバイスがホストできない強力なモデルを必要とするため、高次元データが限られた帯域幅で競合する要求をオフロードする必要がある。 この研究は、分割されたDNNの浅い層の実行に焦点を絞ることから脱却することを提案する。 代わりに、機械解釈に最適化された変分圧縮にローカルリソースを集中することを推奨している。 本稿では,エッジデバイスとサーバ間の非対称なリソース分布を反映した環境下で,リソースを考慮した圧縮モデルを提案する。 提案手法は精度を低下させることなく60倍のビットレートを実現し,既存のコーデック標準のオフロードよりも最大16倍高速である。

関連論文リスト

• Progressive Neural Compression for Adaptive Image Offloading under Timing Constraints [9.903309560890317]
  タイミング制約下での機械学習アプリケーションの推論性能を最大化する適応的アプローチを開発することが重要である。 本稿では,画像分類を対象とし,この問題の効率的な解法としてプログレッシブ・ニューラル・圧縮(PNC)を提案する。 我々は、最先端のニューラル圧縮アプローチとテストベッド上の従来の圧縮手法に対するPNCの利点を実証する。
  論文  参考訳（メタデータ） (2023-10-08T22:58:31Z)
• Slimmable Encoders for Flexible Split DNNs in Bandwidth and Resource Constrained IoT Systems [12.427821850039448]
  本稿では,スリム化可能なアンサンブルエンコーダに基づく分割計算手法を提案する。 私たちの設計の主な利点は、計算負荷と送信データサイズを最小限のオーバーヘッドと時間でリアルタイムで適応できることです。 本モデルでは,圧縮効率や実行時間,特にモバイルデバイスの弱い状況において,既存のソリューションよりも優れています。
  論文  参考訳（メタデータ） (2023-06-22T06:33:12Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing [5.3221129103999125]
  分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。 本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。 我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T15:02:11Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Lightweight compression of neural network feature tensors for collaborative intelligence [32.03465747357384]
  協調インテリジェンスアプリケーションでは、ディープニューラルネットワーク(DNN)の一部は、携帯電話やエッジデバイスなどの比較的低い複雑さのデバイスにデプロイされます。 本稿では,スプリットdnn層のアクティベーションをコード化するために設計された新しい軽量圧縮技術を提案する。
  論文  参考訳（メタデータ） (2021-05-12T23:41:35Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。