論文の概要: Residual-INR: Communication Efficient On-Device Learning Using Implicit Neural Representation
- arxiv url: http://arxiv.org/abs/2408.05617v1
- Date: Sat, 10 Aug 2024 19:31:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 18:12:00.924472
- Title: Residual-INR: Communication Efficient On-Device Learning Using Implicit Neural Representation
- Title（参考訳）: Residual-INR: 命令型ニューラル表現を用いた通信効率の良いオンデバイス学習
- Authors: Hanqiu Chen, Xuebin Yao, Pradeep Subedi, Cong Hao,
- Abstract要約: Residual-INRはフォグコンピューティングに基づく通信効率の高いデバイス上での学習フレームワークである。
データ転送を最大5.16倍に削減する。
また、CPUを使わずにデバイス上での学習を加速し、精度を犠牲にすることなく最大2.9倍のスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 3.8419570843262054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Edge computing is a distributed computing paradigm that collects and processes data at or near the source of data generation. The on-device learning at edge relies on device-to-device wireless communication to facilitate real-time data sharing and collaborative decision-making among multiple devices. This significantly improves the adaptability of the edge computing system to the changing environments. However, as the scale of the edge computing system is getting larger, communication among devices is becoming the bottleneck because of the limited bandwidth of wireless communication leads to large data transfer latency. To reduce the amount of device-to-device data transmission and accelerate on-device learning, in this paper, we propose Residual-INR, a fog computing-based communication-efficient on-device learning framework by utilizing implicit neural representation (INR) to compress images/videos into neural network weights. Residual-INR enhances data transfer efficiency by collecting JPEG images from edge devices, compressing them into INR format at the fog node, and redistributing them for on-device learning. By using a smaller INR for full image encoding and a separate object INR for high-quality object region reconstruction through residual encoding, our technique can reduce the encoding redundancy while maintaining the object quality. Residual-INR is a promising solution for edge on-device learning because it reduces data transmission by up to 5.16 x across a network of 10 edge devices. It also facilitates CPU-free accelerated on-device learning, achieving up to 2.9 x speedup without sacrificing accuracy. Our code is available at: https://github.com/sharclab/Residual-INR.
- Abstract（参考訳）: エッジコンピューティング(エッジコンピューティング)は、データ生成の源泉付近でデータを収集、処理する分散コンピューティングパラダイムである。
エッジでのデバイス上の学習は、複数のデバイス間でリアルタイムなデータ共有と協調的な意思決定を容易にするデバイス間無線通信に依存している。
これにより、エッジコンピューティングシステムの環境変化への適応性が大幅に向上する。
しかし、エッジコンピューティングシステムの規模が大きくなるにつれて、無線通信の帯域が限られているため、デバイス間の通信がボトルネックになっている。
本稿では、デバイス間データ伝送の削減とデバイス上での学習の高速化を目的として、暗黙のニューラルネットワーク表現(INR)を利用して、フォグコンピューティングに基づく通信効率の高いデバイス上での学習フレームワークであるResidual-INRを提案し、画像や映像をニューラルネットワークの重みに圧縮する。
Residual-INRは、エッジデバイスからJPEGイメージを収集し、フォグノードのINRフォーマットに圧縮し、デバイス上での学習のために再配布することで、データ転送効率を向上させる。
画像の完全符号化に小型のINRと高画質のオブジェクト領域再構成に別個のINRを用いることにより、オブジェクトの品質を維持しながら符号化の冗長性を低減できる。
Residual-INRはエッジデバイス上での学習において有望なソリューションである。
また、CPUを使わずにデバイス上での学習を加速し、精度を犠牲にすることなく最大2.9倍のスピードアップを達成する。
私たちのコードは、https://github.com/sharclab/Residual-INR.comで利用可能です。
関連論文リスト
- Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - Rapid-INR: Storage Efficient CPU-free DNN Training Using Implicit Neural Representation [7.539498729072623]
Implicit Neural Representation (INR) は、複雑な形状や物体を、その形状や表面構造を明確に定義せずに表現するための革新的なアプローチである。
従来の研究では、画像圧縮のINRとしてニューラルネットワークを使用することの有効性が実証されており、JPEGのような従来の手法に匹敵する性能を示している。
本稿では、画像のエンコーディングと圧縮にINRを利用する新しいアプローチであるRapid-INRを紹介し、コンピュータビジョンタスクにおけるニューラルネットワークトレーニングを高速化する。
論文 参考訳（メタデータ） (2023-06-29T05:49:07Z) - MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance
Fields [49.68916478541697]
我々は、NeRF(MEIL-NeRF)のためのメモリ効率の良いインクリメンタル学習アルゴリズムを開発した。
MEIL-NeRFはNeRF自体からインスピレーションを得て、ニューラルネットワークがクエリとして与えられたピクセルRGB値を提供するメモリとして機能する。
その結果、MEIL-NeRFはメモリ消費と競合性能を一定に示すことができた。
論文 参考訳（メタデータ） (2022-12-16T08:04:56Z) - Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳（メタデータ） (2022-11-24T18:10:01Z) - Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。
我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。
実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
論文 参考訳（メタデータ） (2022-07-08T05:07:19Z) - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。
小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。
数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文 参考訳（メタデータ） (2022-01-16T07:22:47Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - EffCNet: An Efficient CondenseNet for Image Classification on NXP
BlueBox [0.0]
エッジデバイスは、安価なハードウェアと限られた冷却と計算資源のために、限られた処理能力を提供する。
我々はエッジデバイスのためのEffCNetと呼ばれる新しいディープ畳み込みニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-11-28T21:32:31Z) - Communication-Efficient Separable Neural Network for Distributed
Inference on Edge Devices [2.28438857884398]
本稿では,分散推論のためのニューラルネットワークを分離するために,モデル並列性を利用する新しい手法を提案する。
デバイスの適切な仕様とモデルの構成の下で、エッジクラスタ上の大規模ニューラルネットワークの推論が分散し、加速可能であることを示す実験を行った。
論文 参考訳（メタデータ） (2021-11-03T19:30:28Z) - Broadcasted Residual Learning for Efficient Keyword Spotting [7.335747584353902]
モデルサイズと計算負荷を小さくして高精度な放送残差学習手法を提案する。
また,放送残差学習に基づく新しいネットワークアーキテクチャ,BC-Residual Network(BC-ResNet)を提案する。
BC-ResNetsは、Googleの音声コマンドデータセット v1 と v2 で、最先端の98.0% と98.7% のトップ-1 の精度をそれぞれ達成している。
論文 参考訳（メタデータ） (2021-06-08T06:55:39Z) - Overparametrization of HyperNetworks at Fixed FLOP-Count Enables Fast
Neural Image Enhancement [0.0]
深層畳み込みニューラルネットワークは、小型のモバイルカメラセンサーで撮影された画像を強化し、分解、分解、超高解像度化といったタスクに優れる。
モバイルデバイスで実際に使用する場合、これらのネットワークはFLOPを多用し、畳み込み層のFLOPを減らし、パラメータ数を減少させる。
本稿では,HyperNetworksを用いて標準畳み込みのパラメータに対するFLOPの固定比を破ることを提案する。
論文 参考訳（メタデータ） (2021-05-18T12:27:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。