論文の概要: Network insensitivity to parameter noise via adversarial regularization
- arxiv url: http://arxiv.org/abs/2106.05009v1
- Date: Wed, 9 Jun 2021 12:11:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 15:03:57.324578
- Title: Network insensitivity to parameter noise via adversarial regularization
- Title（参考訳）: 逆正則化によるパラメータ雑音に対するネットワーク感度
- Authors: Julian B\"ucher, Fynn Faber, Dylan R. Muir
- Abstract要約: 本稿では,学習中にネットワークパラメータを攻撃できる新しい対向的ネットワーク最適化アルゴリズムを提案する。
提案手法は,対象パラメータの変動に対してより堅牢なモデルを生成する。
私たちの研究は、計算非理想性に苦しむデバイスを推論するために、ニューラルネットワークアーキテクチャをデプロイするためのアプローチを提供します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neuromorphic neural network processors, in the form of compute-in-memory
crossbar arrays of memristors, or in the form of subthreshold analog and
mixed-signal ASICs, promise enormous advantages in compute density and energy
efficiency for NN-based ML tasks. However, these technologies are prone to
computational non-idealities, due to process variation and intrinsic device
physics. This degrades the task performance of networks deployed to the
processor, by introducing parameter noise into the deployed model. While it is
possible to calibrate each device, or train networks individually for each
processor, these approaches are expensive and impractical for commercial
deployment. Alternative methods are therefore needed to train networks that are
inherently robust against parameter variation, as a consequence of network
architecture and parameters. We present a new adversarial network optimisation
algorithm that attacks network parameters during training, and promotes robust
performance during inference in the face of parameter variation. Our approach
introduces a regularization term penalising the susceptibility of a network to
weight perturbation. We compare against previous approaches for producing
parameter insensitivity such as dropout, weight smoothing and introducing
parameter noise during training. We show that our approach produces models that
are more robust to targeted parameter variation, and equally robust to random
parameter variation. Our approach finds minima in flatter locations in the
weight-loss landscape compared with other approaches, highlighting that the
networks found by our technique are less sensitive to parameter perturbation.
Our work provides an approach to deploy neural network architectures to
inference devices that suffer from computational non-idealities, with minimal
loss of performance. ...
- Abstract（参考訳）: ニューロモルフィックニューラルネットワークプロセッサは、メモリ上のメムリスタの計算クロスバーアレイの形で、またはサブスレッショルドアナログと混合信号ASICの形で、NNベースのMLタスクの計算密度とエネルギー効率に大きな利点を約束する。
しかし、これらの技術は、プロセスの変化と固有のデバイス物理のため、計算の非理想性に富んでいる。
これにより、デプロイされたモデルにパラメータノイズを導入することで、プロセッサにデプロイされたネットワークのタスクパフォーマンスが低下する。
各デバイスをキャリブレーションしたり、各プロセッサのネットワークを個別にトレーニングしたりすることは可能だが、これらのアプローチは高価で商用展開には実用的ではない。
そのため、ネットワークアーキテクチャやパラメータの結果として、パラメータ変動に対して本質的に堅牢なネットワークをトレーニングするためには、別の方法が必要である。
本稿では,学習中にネットワークパラメータを攻撃し,パラメータ変動に直面した推論時のロバストな性能を向上する新しい対向ネットワーク最適化アルゴリズムを提案する。
提案手法では,重みの摂動に対するネットワークの感受性を示す正規化項を導入する。
提案手法は, ドロップアウト, 重みの平滑化, トレーニング中のパラメータノイズの導入など, パラメータ不感性を生成するための従来の手法と比較する。
提案手法は,ターゲットパラメータの変動に対してより堅牢で,ランダムパラメータの変動に対して等しく堅牢なモデルを生成する。
提案手法では, 他の手法と比較して, 重み損失景観の平坦な場所において, ネットワークがパラメータの摂動に対する感受性が低いことを強調する。
我々の研究は、計算非理想性に苦しむデバイスを推論するためにニューラルネットワークアーキテクチャをデプロイするアプローチを提供し、パフォーマンスの損失を最小限に抑える。
...
関連論文リスト
- Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。
提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
論文 参考訳（メタデータ） (2024-11-14T02:00:22Z) - Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Pruning By Explaining Revisited: Optimizing Attribution Methods to Prune CNNs and Transformers [14.756988176469365]
計算要求の削減と効率の向上のための効果的なアプローチは、ディープニューラルネットワークの不要なコンポーネントを創り出すことである。
これまでの研究では、eXplainable AIの分野からの帰属法が、最も関係の低いネットワークコンポーネントを数ショットで抽出し、プルークする効果的な手段であることが示された。
論文 参考訳（メタデータ） (2024-08-22T17:35:18Z) - Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。
本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
論文 参考訳（メタデータ） (2023-01-26T12:32:01Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。
異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。
深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文 参考訳（メタデータ） (2021-06-24T12:23:05Z) - Reduced-Order Neural Network Synthesis with Robustness Guarantees [0.0]
機械学習アルゴリズムは、デバイスがユーザのプライバシを改善し、レイテンシを低減し、エネルギー効率を高めるために、ローカルで実行するように適応されている。
この問題に対処するために、より大きなニューロンの入出力マッピングを近似する低次ニューラルネットワーク(ニューロンが少ない)を自動的に合成する手法を導入する。
この近似誤差に対する最悪の境界が得られ、このアプローチは幅広いニューラルネットワークアーキテクチャに適用することができる。
論文 参考訳（メタデータ） (2021-02-18T12:03:57Z) - Supervised training of spiking neural networks for robust deployment on
mixed-signal neuromorphic processors [2.6949002029513167]
混合信号アナログ/デジタル電子回路はスパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。
ミスマッチは、同一構成ニューロンとシナプスの効果的なパラメータの違いとして表現される。
ミスマッチに対する堅牢性や,その他の一般的なノイズ源を最大化することで,この課題に対処する,教師付き学習アプローチを提案する。
論文 参考訳（メタデータ） (2021-02-12T09:20:49Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z) - Neural Parameter Allocation Search [57.190693718951316]
ニューラルネットワークのトレーニングには、メモリの量を増やす必要がある。
既存の手法では、ネットワークには多くの同一層があり、一般化に失敗する手作りの共有戦略を利用する。
我々は、任意のパラメータ予算を与えられたニューラルネットワークをトレーニングする新しいタスクであるNPAS(Neural Allocation Search)を紹介する。
NPASは、コンパクトネットワークを創出する低予算体制と、推論FLOPを増大させることなく性能を高めるために、新たな高予算体制の両方をカバーしている。
論文 参考訳（メタデータ） (2020-06-18T15:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。