論文の概要: Resilience of Entropy Model in Distributed Neural Networks

• arxiv url: http://arxiv.org/abs/2403.00942v1
• Date: Fri, 1 Mar 2024 19:39:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 16:00:32.331305
• Title: Resilience of Entropy Model in Distributed Neural Networks
• Title（参考訳）: 分散ニューラルネットワークにおけるエントロピーモデルのレジリエンス
• Authors: Milin Zhang, Mohammad Abdi, Shahriar Rifat, Francesco Restuccia
• Abstract要約: エントロピー符号化は、通信オーバーヘッドをさらに減らすために導入された。 本稿では,エントロピーモデルの意図的干渉と意図的干渉に対するレジリエンスについて検討する。 本研究では,攻撃入力の送信オーバーヘッドを約9%削減できる新しい防御機構を提案する。
• 参考スコア（独自算出の注目度）: 8.339630468077713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed deep neural networks (DNNs) have emerged as a key technique to reduce communication overhead without sacrificing performance in edge computing systems. Recently, entropy coding has been introduced to further reduce the communication overhead. The key idea is to train the distributed DNN jointly with an entropy model, which is used as side information during inference time to adaptively encode latent representations into bit streams with variable length. To the best of our knowledge, the resilience of entropy models is yet to be investigated. As such, in this paper we formulate and investigate the resilience of entropy models to intentional interference (e.g., adversarial attacks) and unintentional interference (e.g., weather changes and motion blur). Through an extensive experimental campaign with 3 different DNN architectures, 2 entropy models and 4 rate-distortion trade-off factors, we demonstrate that the entropy attacks can increase the communication overhead by up to 95%. By separating compression features in frequency and spatial domain, we propose a new defense mechanism that can reduce the transmission overhead of the attacked input by about 9% compared to unperturbed data, with only about 2% accuracy loss. Importantly, the proposed defense mechanism is a standalone approach which can be applied in conjunction with approaches such as adversarial training to further improve robustness. Code will be shared for reproducibility.
• Abstract（参考訳）: 分散ディープニューラルネットワーク(dnn)は、エッジコンピューティングシステムのパフォーマンスを犠牲にすることなく通信オーバーヘッドを削減する重要な技術として登場した。 近年,エントロピー符号化により通信オーバーヘッドがさらに低減されている。 鍵となる考え方は、分散DNNをエントロピーモデルと共同でトレーニングすることであり、これは推論時間中にサイド情報として使われ、遅延表現を可変長ビットストリームに適応的にエンコードする。 私たちの知る限りでは、エントロピーモデルの弾力性はまだ調査されていない。 そこで本論文では,エントロピーモデルが意図的干渉(例えば,敵攻撃)や意図的干渉(例えば,天候変化や動きのぼかし)に対するレジリエンスを定式化し,検討する。 3つの異なるDNNアーキテクチャ、2つのエントロピーモデル、4つのレート歪曲トレードオフ因子による広範な実験的キャンペーンを通じて、エントロピー攻撃は通信オーバーヘッドを最大95%増加させることができることを示した。 周波数領域と空間領域における圧縮特性を分離することにより,攻撃入力の送信オーバーヘッドを約9%削減できる新しい防御機構を提案する。 提案する防御機構は, 対人訓練などの手法と併用して, 強靭性の向上を図る, 独立的なアプローチである。 コードは再現性のために共有される。

関連論文リスト

• Causal Context Adjustment Loss for Learned Image Compression [72.7300229848778]
  近年,学習画像圧縮(lic)技術は,特にRD性能の点で従来の手法を上回りつつある。 現在の技術のほとんどは、自己回帰エントロピーモデルを備えたVAEベースで、デコードされた因果コンテキストを利用してRD性能を向上する。 本稿では,提案した因果文脈調整損失を用いて因果文脈を的確に調整する方法を初めて検討する。
  論文  参考訳（メタデータ） (2024-10-07T09:08:32Z)
• Entropy Loss: An Interpretability Amplifier of 3D Object Detection Network for Intelligent Driving [12.785134710797244]
  本稿では,「エントロピー損失」と呼ばれる新しいタイプの損失関数と,革新的なトレーニング戦略を紹介する。 エントロピー損失は知覚モデル内の特徴圧縮ネットワークの機能に基づいて定式化される。 KITTIテストセットのエントロピー損失を用いた3次元物体検出モデルの精度は、エントロピー損失のないモデルと比較して4.47%向上した。
  論文  参考訳（メタデータ） (2024-09-01T20:55:50Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• FLARE: Detection and Mitigation of Concept Drift for Federated Learning based IoT Deployments [2.7776688429637466]
  FLAREは、トレーニングデータを条件付きで転送し、エッジとセンサのエンドポイント間でモデルをデプロイする、軽量なデュアルスケジューリングFLフレームワークである。 固定間隔スケジューリング法と比較して,FLAREはエッジノードとセンサノード間で交換されるデータ量を大幅に削減できることを示す。 少なくとも16倍のレイテンシで、コンセプトドリフトを反応的に検出できる。
  論文  参考訳（メタデータ） (2023-05-15T10:09:07Z)
• Hybrid Spatial-Temporal Entropy Modelling for Neural Video Compression [25.96187914295921]
  本稿では,空間的依存と時間的依存の両方を効率的に捉える強力なエントロピーモデルを提案する。 我々のエントロピーモデルでは,最大圧縮比を用いたH266(VTM)と比較して,UVGデータセットの18.2%の節約が可能である。
  論文  参考訳（メタデータ） (2022-07-13T00:03:54Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Multi-fidelity Bayesian Neural Networks: Algorithms and Applications [0.0]
  本稿では,可変忠実度の雑音データを用いて訓練できるベイズ型ニューラルネットワーク(BNN)を提案する。 関数近似の学習や、偏微分方程式(PDE)に基づく逆問題の解法に応用する。
  論文  参考訳（メタデータ） (2020-12-19T02:03:53Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。