論文の概要: Towards Robust Neural Networks via Close-loop Control
- arxiv url: http://arxiv.org/abs/2102.01862v1
- Date: Wed, 3 Feb 2021 03:50:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-05 04:33:04.833194
- Title: Towards Robust Neural Networks via Close-loop Control
- Title（参考訳）: 閉ループ制御によるロバストニューラルネットワーク
- Authors: Zhuotong Chen, Qianxiao Li, Zheng Zhang
- Abstract要約: 深層ニューラルネットワークは、ブラックボックスの性質のため、様々な摂動に弱い。
近年の研究では、入力データが知覚不可能な量で摂動しても、ディープニューラルネットワークがデータを誤分類できることが示されている。
- 参考スコア（独自算出の注目度）: 12.71446168207573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their success in massive engineering applications, deep neural
networks are vulnerable to various perturbations due to their black-box nature.
Recent study has shown that a deep neural network can misclassify the data even
if the input data is perturbed by an imperceptible amount. In this paper, we
address the robustness issue of neural networks by a novel close-loop control
method from the perspective of dynamic systems. Instead of modifying the
parameters in a fixed neural network architecture, a close-loop control process
is added to generate control signals adaptively for the perturbed or corrupted
data. We connect the robustness of neural networks with optimal control using
the geometrical information of underlying data to design the control objective.
The detailed analysis shows how the embedding manifolds of state trajectory
affect error estimation of the proposed method. Our approach can simultaneously
maintain the performance on clean data and improve the robustness against many
types of data perturbations. It can also further improve the performance of
robustly trained neural networks against different perturbations. To the best
of our knowledge, this is the first work that improves the robustness of neural
networks with close-loop control.
- Abstract（参考訳）: 大規模なエンジニアリング応用の成功にもかかわらず、深層ニューラルネットワークはブラックボックスの性質のため、様々な摂動に弱い。
近年の研究では、入力データが知覚不可能な量で摂動しても、ディープニューラルネットワークがデータを誤分類できることが示されている。
本稿では,ニューラルネットワークのロバスト性問題に対して,動的システムの観点から,新しい閉ループ制御法を提案する。
固定ニューラルネットワークアーキテクチャのパラメータを変更する代わりに、閉ループ制御プロセスを追加して、乱流または破損したデータに適応的に制御信号を生成する。
基礎データの幾何学的情報を用いて,ニューラルネットワークのロバスト性と最適制御を結び,制御目標の設計を行う。
詳細な解析は, 状態軌道の埋め込み多様体が提案手法の誤差推定にどのように影響するかを示す。
当社のアプローチでは,クリーンデータの性能を同時に維持し,さまざまな種類のデータ摂動に対する堅牢性を向上させる。
また、異なる摂動に対するロバストに訓練されたニューラルネットワークの性能をさらに改善することができる。
私たちの知る限りでは、これは近接ループ制御によるニューラルネットワークの堅牢性を改善する最初の仕事です。
関連論文リスト
- Message Passing Variational Autoregressive Network for Solving Intractable Ising Models [6.261096199903392]
自己回帰型ニューラルネットワーク、畳み込み型ニューラルネットワーク、リカレントニューラルネットワーク、グラフニューラルネットワークなど、多くのディープニューラルネットワークがIsingモデルの解決に使用されている。
本稿では、スピン変数間の相互作用を効果的に活用できるメッセージパッシング機構を備えた変分自己回帰アーキテクチャを提案する。
新しいネットワークは、アニーリングフレームワークの下で訓練され、いくつかの原型スピンハミルトニアンの解法、特に低温での大きなスピン系において、既存の方法よりも優れている。
論文 参考訳（メタデータ） (2024-04-09T11:27:07Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - On the Robustness and Anomaly Detection of Sparse Neural Networks [28.832060124537843]
スパシティーによってネットワークがより堅牢になり、異常検知がより良くなることを示す。
また, 構造的疎水性は, 高価なロバスト性および検出方法の複雑さを低減するのに大いに有効であることを示す。
本稿では,適切な刈り取り法から得られた重みの感度を利用して異常サンプルを検出する新しい手法であるSensNormを紹介する。
論文 参考訳（メタデータ） (2022-07-09T09:03:52Z) - Spiking Neural Networks for Frame-based and Event-based Single Object
Localization [26.51843464087218]
スパイクニューラルネットワークは、人工ニューラルネットワークに代わるエネルギー効率の高い代替手段として、多くの可能性を示してきた。
代用勾配降下法を用いて学習した単一物体の局所化に対するスパイクニューラルネットワークアプローチを提案する。
提案手法を類似の人工知能ニューラルネットワークと比較した結果, 精度, 各種汚損対策, エネルギー消費量の低減が得られた。
論文 参考訳（メタデータ） (2022-06-13T22:22:32Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳（メタデータ） (2021-06-10T04:21:20Z) - Performance Bounds for Neural Network Estimators: Applications in Fault
Detection [2.388501293246858]
ニューラルネットワークの堅牢性を定量化し,モデルに基づく異常検知器の構築とチューニングを行った。
チューニングでは,通常動作で想定される誤報発生率の上限を具体的に提示する。
論文 参考訳（メタデータ） (2021-03-22T19:23:08Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Reduced-Order Neural Network Synthesis with Robustness Guarantees [0.0]
機械学習アルゴリズムは、デバイスがユーザのプライバシを改善し、レイテンシを低減し、エネルギー効率を高めるために、ローカルで実行するように適応されている。
この問題に対処するために、より大きなニューロンの入出力マッピングを近似する低次ニューラルネットワーク(ニューロンが少ない)を自動的に合成する手法を導入する。
この近似誤差に対する最悪の境界が得られ、このアプローチは幅広いニューラルネットワークアーキテクチャに適用することができる。
論文 参考訳（メタデータ） (2021-02-18T12:03:57Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。