論文の概要: Geometric algorithms for predicting resilience and recovering damage in neural networks

• arxiv url: http://arxiv.org/abs/2005.11603v2
• Date: Tue, 2 Jun 2020 19:20:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 03:19:15.627911
• Title: Geometric algorithms for predicting resilience and recovering damage in neural networks
• Title（参考訳）: ニューラルネットワークのレジリエンス予測と損傷回復のための幾何学的アルゴリズム
• Authors: Guruprasad Raghavan, Jiayi Li, Matt Thomson
• Abstract要約: 我々は、微分幾何学のレンズを用いて、人工ニューラルネットワークのレジリエンスを分析する。 我々の研究は、レジリエンスと迅速な回復ルーチンを備えた人工システムを実現する手順を提供する。
• 参考スコア（独自算出の注目度）: 6.871015063748433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biological neural networks have evolved to maintain performance despite significant circuit damage. To survive damage, biological network architectures have both intrinsic resilience to component loss and also activate recovery programs that adjust network weights through plasticity to stabilize performance. Despite the importance of resilience in technology applications, the resilience of artificial neural networks is poorly understood, and autonomous recovery algorithms have yet to be developed. In this paper, we establish a mathematical framework to analyze the resilience of artificial neural networks through the lens of differential geometry. Our geometric language provides natural algorithms that identify local vulnerabilities in trained networks as well as recovery algorithms that dynamically adjust networks to compensate for damage. We reveal striking vulnerabilities in commonly used image analysis networks, like MLP's and CNN's trained on MNIST and CIFAR10 respectively. We also uncover high-performance recovery paths that enable the same networks to dynamically re-adjust their parameters to compensate for damage. Broadly, our work provides procedures that endow artificial systems with resilience and rapid-recovery routines to enhance their integration with IoT devices as well as enable their deployment for critical applications.
• Abstract（参考訳）: 生物学的ニューラルネットワークは、大きな回路損傷にもかかわらず性能を維持するために進化してきた。 損傷に耐えるために、生物学的ネットワークアーキテクチャはコンポーネント損失に固有の弾力性を持つと同時に、可塑性によってネットワーク重みを調整するリカバリプログラムを活性化し、パフォーマンスを安定化する。 技術応用におけるレジリエンスの重要性にもかかわらず、人工知能ニューラルネットワークのレジリエンスは十分に理解されておらず、自律的回復アルゴリズムはまだ開発されていない。 本稿では,微分幾何学のレンズを通してニューラルネットワークのレジリエンスを解析するための数学的枠組みを確立する。 私たちの幾何学的言語は、トレーニングされたネットワークのローカル脆弱性を識別する自然アルゴリズムと、損傷を補償するためにネットワークを動的に調整するリカバリアルゴリズムを提供します。 MNIST と CIFAR10 で訓練された MLP や CNN などの画像解析ネットワークの重大な脆弱性を明らかにする。 また、同じネットワークがパラメータを動的に調整して損傷を補償できる高性能回復経路も明らかにした。 私たちの研究は、レジリエンスと迅速な回復ルーチンを備えた人工システムを実現する手順を提供し、IoTデバイスとの統合を強化し、重要なアプリケーションへのデプロイを可能にします。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
  適応型ニューラルネットワークの動的対向攻撃問題について検討する。 本稿では,LGM(Leaded Gradient Method)を提案する。 我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
  論文  参考訳（メタデータ） (2022-10-15T01:32:08Z)
• Building Compact and Robust Deep Neural Networks with Toeplitz Matrices [93.05076144491146]
  この論文は、コンパクトで、訓練が容易で、信頼性があり、敵の例に対して堅牢なニューラルネットワークを訓練する問題に焦点を当てている。 Toeplitzファミリーの構造化行列の特性を利用して、コンパクトでセキュアなニューラルネットワークを構築する。
  論文  参考訳（メタデータ） (2021-09-02T13:58:12Z)
• Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
  畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。 本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。 最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
  論文  参考訳（メタデータ） (2021-08-16T03:58:00Z)
• Recursive Construction of Stable Assemblies of Recurrent Neural Networks [0.0]
  機械学習の高度な応用には、訓練されたネットワークの組み合わせが含まれるだろう。 本稿では、非線形リカレントネットワークとニューラルODEの幅広いクラスにおける収縮特性を確立することにより、この方向への一歩を踏み出す。 結果は、リカレントネットワークと物理システムと定量化された収縮特性を組み合わせるために使用できる。
  論文  参考訳（メタデータ） (2021-06-16T16:35:50Z)
• Physical Constraint Embedded Neural Networks for inference and noise regulation [0.0]
  ニューラルネットワークに偶数ノード対称性と保存則を埋め込む方法を提案する。 先行知識を使わずに正確に対称性を推測できることを実証する。 物理拘束型組込みニューラルネットワークの雑音耐性特性を強調した。
  論文  参考訳（メタデータ） (2021-05-19T14:07:20Z)
• Learning in Deep Neural Networks Using a Biologically Inspired Optimizer [5.144809478361604]
  人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。 GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。 生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-04-23T13:50:30Z)
• Improving Neural Network Robustness through Neighborhood Preserving Layers [0.751016548830037]
  このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。 我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-01-28T01:26:35Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)
• Multi-Objective Optimization for Size and Resilience of Spiking Neural Networks [0.9449650062296823]
  シリコンにおけるスパイキングニューラルネットワーク(SNN)モデル スパイキングニューラルネットワークを2つのニューロモルフィックアーキテクチャの実装に適用し,そのサイズを小さくすることを目的とした。 本稿では,SNNのサイズとレジリエンスを最適化する多目的フィットネス機能を提案する。
  論文  参考訳（メタデータ） (2020-02-04T16:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。