論文の概要: Resilience of Entropy Model in Distributed Neural Networks
- arxiv url: http://arxiv.org/abs/2403.00942v1
- Date: Fri, 1 Mar 2024 19:39:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 16:00:32.331305
- Title: Resilience of Entropy Model in Distributed Neural Networks
- Title(参考訳): 分散ニューラルネットワークにおけるエントロピーモデルのレジリエンス
- Authors: Milin Zhang, Mohammad Abdi, Shahriar Rifat, Francesco Restuccia
- Abstract要約: エントロピー符号化は、通信オーバーヘッドをさらに減らすために導入された。
本稿では,エントロピーモデルの意図的干渉と意図的干渉に対するレジリエンスについて検討する。
本研究では,攻撃入力の送信オーバーヘッドを約9%削減できる新しい防御機構を提案する。
- 参考スコア(独自算出の注目度): 8.339630468077713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed deep neural networks (DNNs) have emerged as a key technique to
reduce communication overhead without sacrificing performance in edge computing
systems. Recently, entropy coding has been introduced to further reduce the
communication overhead. The key idea is to train the distributed DNN jointly
with an entropy model, which is used as side information during inference time
to adaptively encode latent representations into bit streams with variable
length. To the best of our knowledge, the resilience of entropy models is yet
to be investigated. As such, in this paper we formulate and investigate the
resilience of entropy models to intentional interference (e.g., adversarial
attacks) and unintentional interference (e.g., weather changes and motion
blur). Through an extensive experimental campaign with 3 different DNN
architectures, 2 entropy models and 4 rate-distortion trade-off factors, we
demonstrate that the entropy attacks can increase the communication overhead by
up to 95%. By separating compression features in frequency and spatial domain,
we propose a new defense mechanism that can reduce the transmission overhead of
the attacked input by about 9% compared to unperturbed data, with only about 2%
accuracy loss. Importantly, the proposed defense mechanism is a standalone
approach which can be applied in conjunction with approaches such as
adversarial training to further improve robustness. Code will be shared for
reproducibility.
- Abstract(参考訳): 分散ディープニューラルネットワーク(dnn)は、エッジコンピューティングシステムのパフォーマンスを犠牲にすることなく通信オーバーヘッドを削減する重要な技術として登場した。
近年,エントロピー符号化により通信オーバーヘッドがさらに低減されている。
鍵となる考え方は、分散DNNをエントロピーモデルと共同でトレーニングすることであり、これは推論時間中にサイド情報として使われ、遅延表現を可変長ビットストリームに適応的にエンコードする。
私たちの知る限りでは、エントロピーモデルの弾力性はまだ調査されていない。
そこで本論文では,エントロピーモデルが意図的干渉(例えば,敵攻撃)や意図的干渉(例えば,天候変化や動きのぼかし)に対するレジリエンスを定式化し,検討する。
3つの異なるDNNアーキテクチャ、2つのエントロピーモデル、4つのレート歪曲トレードオフ因子による広範な実験的キャンペーンを通じて、エントロピー攻撃は通信オーバーヘッドを最大95%増加させることができることを示した。
周波数領域と空間領域における圧縮特性を分離することにより,攻撃入力の送信オーバーヘッドを約9%削減できる新しい防御機構を提案する。
提案する防御機構は, 対人訓練などの手法と併用して, 強靭性の向上を図る, 独立的なアプローチである。
コードは再現性のために共有される。
関連論文リスト
- Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳(メタデータ) (2023-12-04T01:32:42Z) - Deep Neural Networks Tend To Extrapolate Predictably [56.04573160453392]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - FLARE: Detection and Mitigation of Concept Drift for Federated Learning
based IoT Deployments [2.7776688429637466]
FLAREは、トレーニングデータを条件付きで転送し、エッジとセンサのエンドポイント間でモデルをデプロイする、軽量なデュアルスケジューリングFLフレームワークである。
固定間隔スケジューリング法と比較して,FLAREはエッジノードとセンサノード間で交換されるデータ量を大幅に削減できることを示す。
少なくとも16倍のレイテンシで、コンセプトドリフトを反応的に検出できる。
論文 参考訳(メタデータ) (2023-05-15T10:09:07Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - SPIN: Simulated Poisoning and Inversion Network for Federated
Learning-Based 6G Vehicular Networks [9.494669823390648]
車両ネットワークは常にデータプライバシー保護の懸念に直面してきた。
この手法は、モデル逆転とモデル中毒攻撃に対して非常に脆弱である。
本研究では,データ再構成に最適化手法を応用したシミュレート中毒・逆変換ネットワーク(SPIN)を提案する。
論文 参考訳(メタデータ) (2022-11-21T10:07:13Z) - Hybrid Spatial-Temporal Entropy Modelling for Neural Video Compression [25.96187914295921]
本稿では,空間的依存と時間的依存の両方を効率的に捉える強力なエントロピーモデルを提案する。
我々のエントロピーモデルでは,最大圧縮比を用いたH266(VTM)と比較して,UVGデータセットの18.2%の節約が可能である。
論文 参考訳(メタデータ) (2022-07-13T00:03:54Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T15:39:43Z) - On the Reproducibility of Neural Network Predictions [52.47827424679645]
そこで本研究では, チャーン問題について検討し, 原因因子を同定し, 緩和する2つの簡単な方法を提案する。
最初に、標準的な画像分類タスクであっても、チャーンが問題であることを示す。
我々は,予測信頼度を高めるために,エントロピー正規化器を提案する。
両手法の有効性を実証的に示し, 基礎モデルの精度を向上しながら, チャーン低減効果を示す。
論文 参考訳(メタデータ) (2021-02-05T18:51:01Z) - Multi-fidelity Bayesian Neural Networks: Algorithms and Applications [0.0]
本稿では,可変忠実度の雑音データを用いて訓練できるベイズ型ニューラルネットワーク(BNN)を提案する。
関数近似の学習や、偏微分方程式(PDE)に基づく逆問題の解法に応用する。
論文 参考訳(メタデータ) (2020-12-19T02:03:53Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。