論文の概要: ResiliNet: Failure-Resilient Inference in Distributed Neural Networks
- arxiv url: http://arxiv.org/abs/2002.07386v4
- Date: Sat, 19 Dec 2020 08:08:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 19:25:47.075621
- Title: ResiliNet: Failure-Resilient Inference in Distributed Neural Networks
- Title（参考訳）: ResiliNet: 分散ニューラルネットワークにおける障害耐性推論
- Authors: Ashkan Yousefpour, Brian Q. Nguyen, Siddartha Devic, Guanhua Wang,
Aboudy Kreidieh, Hans Lobel, Alexandre M. Bayen, Jason P. Jue
- Abstract要約: ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。
Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
- 参考スコア（独自算出の注目度）: 56.255913459850674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning aims to train distributed deep models without sharing the
raw data with the centralized server. Similarly, in distributed inference of
neural networks, by partitioning the network and distributing it across several
physical nodes, activations and gradients are exchanged between physical nodes,
rather than raw data. Nevertheless, when a neural network is partitioned and
distributed among physical nodes, failure of physical nodes causes the failure
of the neural units that are placed on those nodes, which results in a
significant performance drop. Current approaches focus on resiliency of
training in distributed neural networks. However, resiliency of inference in
distributed neural networks is less explored. We introduce ResiliNet, a scheme
for making inference in distributed neural networks resilient to physical node
failures. ResiliNet combines two concepts to provide resiliency: skip
hyperconnection, a concept for skipping nodes in distributed neural networks
similar to skip connection in resnets, and a novel technique called failout,
which is introduced in this paper. Failout simulates physical node failure
conditions during training using dropout, and is specifically designed to
improve the resiliency of distributed neural networks. The results of the
experiments and ablation studies using three datasets confirm the ability of
ResiliNet to provide inference resiliency for distributed neural networks.
- Abstract（参考訳）: Federated Learningの目的は、生データを集中型サーバと共有することなく、分散ディープモデルをトレーニングすることだ。
同様に、ニューラルネットワークの分散推論では、ネットワークを分割して複数の物理ノードに分散することで、アクティベーションと勾配が生データではなく物理ノード間で交換される。
それでも、ニューラルネットワークを物理的ノードに分割して分散する場合、物理的ノードの障害は、それらのノードに置かれる神経ユニットの障害を引き起こし、結果としてパフォーマンスが大幅に低下する。
現在のアプローチは、分散ニューラルネットワークにおけるトレーニングのレジリエンスに重点を置いている。
しかし、分散ニューラルネットワークにおける推論のレジリエンスは調査されていない。
ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。
ResiliNetは2つの概念を組み合わせてレジリエンスを提供する: ハイパーコネクションをスキップする、分散ニューラルネットワークのノードをスキップする、resnetの接続をスキップするのと同様のコンセプト、フェールアウトと呼ばれる新しいテクニック。
Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
3つのデータセットを用いた実験およびアブレーション研究の結果、分散ニューラルネットワークに対する推論レジリエンスを提供するResiliNetの能力が確認された。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Seeking Next Layer Neurons' Attention for Error-Backpropagation-Like
Training in a Multi-Agent Network Framework [6.446189857311325]
本研究は, ニューロンの局所的な目的として, エラーのバックプロパゲーションと類似性を示すことを提案する。
本研究では,局所的な目的を最大化するために,自律神経系と自律神経系を組み合わせたニューラルネットワークについて検討する。
3つのデータセットの実験を通して、これらのマルチエージェントニューラルネットワークの学習能力を実証する。
論文 参考訳（メタデータ） (2023-10-15T21:07:09Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Guaranteed Quantization Error Computation for Neural Network Model
Compression [2.610470075814367]
ニューラルネットワークモデル圧縮技術は、産業システムの組み込みデバイス上でのディープニューラルネットワークの計算問題に対処することができる。
統合されたニューラルネットワークは、フィードフォワードニューラルネットワークとその量子化されたバージョンから構築され、2つのニューラルネットワーク間の正確な出力差を生成する。
論文 参考訳（メタデータ） (2023-04-26T20:21:54Z) - Global quantitative robustness of regression feed-forward neural
networks [0.0]
我々は回帰分解点の概念を回帰ニューラルネットワークに適用する。
我々は、故障率のプロキシにより、サンプル外損失によって測定された性能を比較した。
この結果は、ニューラルネットワークのトレーニングにロバストな損失関数を使うことを動機付けている。
論文 参考訳（メタデータ） (2022-11-18T09:57:53Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - Deep Kronecker neural networks: A general framework for neural networks
with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。
適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文 参考訳（メタデータ） (2021-05-20T04:54:57Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
過パラメータのニューラルネットワークが制約を満たしていることを示す。
公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
論文 参考訳（メタデータ） (2020-12-30T18:46:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。