論文の概要: Improving Adversarial Robustness of DEQs with Explicit Regulations Along the Neural Dynamics

• arxiv url: http://arxiv.org/abs/2306.01435v1
• Date: Fri, 2 Jun 2023 10:49:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 15:34:17.300907
• Title: Improving Adversarial Robustness of DEQs with Explicit Regulations Along the Neural Dynamics
• Title（参考訳）: 神経動力学による明示的な制御によるdeqの逆ロバスト性の改善
• Authors: Zonghan Yang, Peng Li, Tianyu Pang, Yang Liu
• Abstract要約: ディープ・平衡(DEQ)モデルは、従来のディープ・ネットワークの多重層積み重ねを単一層変換の固定点反復で置き換える。 既存の作業は、広く使われている対戦訓練(AT)フレームワークで一般的なDECモデルの堅牢性を改善するが、DECモデルの構造的特異性を利用するには至らなかった。 ニューラルダイナミクスに沿って入力を段階的に更新することで予測エントロピーを低減することを提案する。 我々の手法はDECモデルのロバスト性を大幅に向上させ、強力なディープネットワークベースラインよりも優れています。
• 参考スコア（独自算出の注目度）: 26.94367957377311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep equilibrium (DEQ) models replace the multiple-layer stacking of conventional deep networks with a fixed-point iteration of a single-layer transformation. Having been demonstrated to be competitive in a variety of real-world scenarios, the adversarial robustness of general DEQs becomes increasingly crucial for their reliable deployment. Existing works improve the robustness of general DEQ models with the widely-used adversarial training (AT) framework, but they fail to exploit the structural uniquenesses of DEQ models. To this end, we interpret DEQs through the lens of neural dynamics and find that AT under-regulates intermediate states. Besides, the intermediate states typically provide predictions with a high prediction entropy. Informed by the correlation between the entropy of dynamical systems and their stability properties, we propose reducing prediction entropy by progressively updating inputs along the neural dynamics. During AT, we also utilize random intermediate states to compute the loss function. Our methods regulate the neural dynamics of DEQ models in this manner. Extensive experiments demonstrate that our methods substantially increase the robustness of DEQ models and even outperform the strong deep network baselines.
• Abstract（参考訳）: ディープ平衡(deq)モデルは、従来のディープネットワークの多層積み重ねを単一層変換の固定点反復に置き換える。 さまざまな現実のシナリオで競争力があることが実証されて以来、一般的なdeqsの敵対的堅牢性は、信頼性の高いデプロイメントにおいてますます重要になっている。 既存の研究は、広く使用されているadversarial training (at)フレームワークで一般的なdeqモデルの堅牢性を改善するが、deqモデルの構造的特異性を活用できない。 この目的のために、神経動力学のレンズを通してdeqsを解釈し、中間状態を過小に調整することを見つける。 さらに、中間状態は通常、高い予測エントロピーを持つ予測を提供する。 力学系のエントロピーとその安定性の相関関係から,神経力学に沿って入力を漸進的に更新することで予測エントロピーの低減を提案する。 AT中は、ランダムな中間状態を利用して損失関数を計算する。 この方法でdeqモデルの神経動力学を制御している。 広範な実験により,deqモデルのロバスト性が大幅に向上し,強力なディープネットワークベースラインを上回った。

関連論文リスト

• A short trajectory is all you need: A transformer-based model for long-time dissipative quantum dynamics [0.0]
  深層人工知能ニューラルネットワークは、散逸環境に結合した量子システムの長時間の人口動態を予測することができることを示す。 我々のモデルは、リカレントニューラルネットワークのような古典的な予測モデルよりも正確です。
  論文  参考訳（メタデータ） (2024-09-17T16:17:52Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Expressive architectures enhance interpretability of dynamics-based neural population models [2.294014185517203]
  シミュレーションされたニューラルネットワークから潜在カオスを引き付ける際のシーケンシャルオートエンコーダ(SAE)の性能を評価する。 広帯域再帰型ニューラルネットワーク(RNN)を用いたSAEでは,真の潜在状態次元での正確な発射速度を推定できないことがわかった。
  論文  参考訳（メタデータ） (2022-12-07T16:44:26Z)
• Physics Informed Neural Network for Dynamic Stress Prediction [10.588266927411434]
  有限要素シミュレーションに基づいて, 応力分布の全列を予測するために, 物理インフォームドニューラルネットワーク(PINN)モデルを提案する。 自動微分を用いて、深層ニューラルネットワークの損失関数にPDEを埋め込み、測定やPDEからの情報を取り込む。 PINN-Stressモデルは、ほぼリアルタイムで応力分布の列を予測でき、PINNなしではモデルよりも良く一般化できる。
  論文  参考訳（メタデータ） (2022-11-28T16:03:21Z)
• Dynamics with autoregressive neural quantum states: application to critical quench dynamics [41.94295877935867]
  本稿では、量子系の長時間のダイナミクスを安定的に捉えるための代替の汎用スキームを提案する。 二次元量子イジングモデルにおけるキブル・ズレーク機構の解明により,時間依存性のクエンチ力学にこのスキームを適用した。
  論文  参考訳（メタデータ） (2022-09-07T15:50:00Z)
• Disentangled Generative Models for Robust Prediction of System Dynamics [2.6424064030995957]
  本研究では,動的システムの領域パラメータをデータ生成過程の変動要因として扱う。 教師付き不整合と因果分解のアイデアを活用することにより、生成モデルの潜在空間における力学から領域パラメータを分離することを目指す。 その結果,不整合VAEはトレーニングデータに存在しない領域パラメータ空間に適応することが示唆された。
  論文  参考訳（メタデータ） (2021-08-26T09:58:06Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。