論文の概要: Learning Robust Deep Equilibrium Models
- arxiv url: http://arxiv.org/abs/2304.12707v2
- Date: Wed, 26 Apr 2023 11:56:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-27 10:44:13.284216
- Title: Learning Robust Deep Equilibrium Models
- Title（参考訳）: ロバスト深部平衡モデルの学習
- Authors: Haoyu Chu, Shikui Wei, Ting Liu and Yao Zhao
- Abstract要約: 我々は、リアプノフ理論による証明可能な安定性を保証した、LyaDEQという名前の頑健な深い均衡モデルを提案する。
我々は、LyaDEQモデルを、よく知られた敵攻撃下で、広く使われている複数のデータセット上で評価する。
我々は、LyaDEQモデルが、対戦訓練などの他の防御手法と組み合わせることで、より優れた対戦性ロバスト性を実現することができることを示す。
- 参考スコア（独自算出の注目度）: 45.1705437245744
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep equilibrium (DEQ) models have emerged as a promising class of implicit
layer models in deep learning, which abandon traditional depth by solving for
the fixed points of a single nonlinear layer. Despite their success, the
stability of the fixed points for these models remains poorly understood.
Recently, Lyapunov theory has been applied to Neural ODEs, another type of
implicit layer model, to confer adversarial robustness. By considering DEQ
models as nonlinear dynamic systems, we propose a robust DEQ model named LyaDEQ
with guaranteed provable stability via Lyapunov theory. The crux of our method
is ensuring the fixed points of the DEQ models are Lyapunov stable, which
enables the LyaDEQ models to resist minor initial perturbations. To avoid poor
adversarial defense due to Lyapunov-stable fixed points being located near each
other, we add an orthogonal fully connected layer after the Lyapunov stability
module to separate different fixed points. We evaluate LyaDEQ models on several
widely used datasets under well-known adversarial attacks, and experimental
results demonstrate significant improvement in robustness. Furthermore, we show
that the LyaDEQ model can be combined with other defense methods, such as
adversarial training, to achieve even better adversarial robustness.
- Abstract（参考訳）: 深層平衡(deq)モデルは、単一の非線形層の不動点を解くことで従来の深さを捨てる深層学習において有望な暗黙層モデルのクラスとして出現した。
その成功にもかかわらず、これらのモデルの不動点の安定性は未だよく分かっていない。
近年、Lyapunov理論は、別のタイプの暗黙的層モデルであるNeural ODEsに適用され、対向的ロバスト性を示す。
非線形力学系としてDECモデルを考慮し、リアプノフ理論による証明可能な安定性を保証した頑健なDECモデルLyaDEQを提案する。
我々の手法の要点は、DEC モデルの固定点が Lyapunov 安定であることを保証することで、LyaDEQ モデルが小さな初期摂動に耐えられるようにすることである。
互いに近接するリアプノフ安定不動点による逆防御の悪さを避けるため、リアプノフ安定モジュールの後に直交完全連結層を追加して異なる不動点を分離する。
lyadeqモデルは,よく知られた敵の攻撃下,広く使用されているデータセット上で評価され,実験によりロバスト性が著しく向上した。
さらに,LyaDEQモデルは,対戦訓練などの他の防御手法と組み合わせることで,より優れた対戦力を実現することができることを示す。
関連論文リスト
- Distributionally Robust Policy and Lyapunov-Certificate Learning [13.38077406934971]
不確実なシステムに対する安定性を保証するコントローラの設計における重要な課題は、オンラインデプロイメント中のモデルパラメトリック不確実性の変化の正確な決定と適応である。
我々は、リアプノフ証明書の単調な減少を保証するために、リアプノフ微分チャンス制約を分布的に頑健に定式化することで、この問題に取り組む。
得られた閉ループシステムに対して、その平衡のグローバルな安定性は、アウト・オブ・ディストリビューションの不確実性があっても高い信頼性で証明できることを示す。
論文 参考訳（メタデータ） (2024-04-03T18:57:54Z) - Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。
我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。
我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
論文 参考訳（メタデータ） (2024-02-27T13:49:12Z) - Positive concave deep equilibrium models [7.148312060227714]
ディープ平衡モデル(Deep equilibrium Model, DEQ)は、標準的なニューラルネットワークに代わるメモリ効率のモデルである。
正凹深部平衡モデル(pcDEQ)と呼ばれる新しいDECモデルを導入する。
非線形ペロン・フロベニウス理論に基づく我々のアプローチは、正のオーサント上に凹む非負の重みと活性化関数を強制する。
論文 参考訳（メタデータ） (2024-02-06T14:24:29Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - Improving Adversarial Robustness of DEQs with Explicit Regulations Along
the Neural Dynamics [26.94367957377311]
ディープ・平衡(DEQ)モデルは、従来のディープ・ネットワークの多重層積み重ねを単一層変換の固定点反復で置き換える。
既存の作業は、広く使われている対戦訓練(AT)フレームワークで一般的なDECモデルの堅牢性を改善するが、DECモデルの構造的特異性を利用するには至らなかった。
ニューラルダイナミクスに沿って入力を段階的に更新することで予測エントロピーを低減することを提案する。
我々の手法はDECモデルのロバスト性を大幅に向上させ、強力なディープネットワークベースラインよりも優れています。
論文 参考訳（メタデータ） (2023-06-02T10:49:35Z) - KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed
Stability in Nonlinear Dynamical Systems [66.9461097311667]
形式的安定性を保証するモデルに基づく強化学習フレームワークを提案する。
提案手法は,特徴表現を用いて信頼区間までシステムダイナミクスを学習する。
我々は、KCRLが、基礎となる未知のシステムとの有限数の相互作用において安定化ポリシーを学ぶことが保証されていることを示す。
論文 参考訳（メタデータ） (2022-06-03T17:27:04Z) - Stable Neural ODE with Lyapunov-Stable Equilibrium Points for Defending
Against Adversarial Attacks [32.88499015927756]
我々は,Lyapunov-stable平衡点を持つ安定なニューラル・オードを提案し,敵対的攻撃(SODEF)を防御する。
我々は、SODEFの安定性に関する洞察を与える理論的な結果と、その安定性を確保するための正則化器の選択を提供する。
論文 参考訳（メタデータ） (2021-10-25T14:09:45Z) - Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。
本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。
この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
論文 参考訳（メタデータ） (2021-06-28T00:14:11Z) - Almost Surely Stable Deep Dynamics [4.199844472131922]
本稿では,観測データから安定なディープニューラルネットワークに基づく動的モデルを学ぶ手法を提案する。
本手法は,lyapunovニューラルネットワークを動的モデルに組み込むことにより,本質的に安定性基準を満たす。
論文 参考訳（メタデータ） (2021-03-26T20:37:08Z) - Efficient Empowerment Estimation for Unsupervised Stabilization [75.32013242448151]
エンパワーメント原理は 直立位置での 力学系の教師なし安定化を可能にする
本稿では,ガウスチャネルとして動的システムのトレーニング可能な表現に基づく代替解を提案する。
提案手法は, サンプルの複雑さが低く, 訓練時より安定であり, エンパワーメント機能の本質的特性を有し, 画像からエンパワーメントを推定できることを示す。
論文 参考訳（メタデータ） (2020-07-14T21:10:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。