論文の概要: Lyapunov-Stable Deep Equilibrium Models

• arxiv url: http://arxiv.org/abs/2304.12707v3
• Date: Wed, 10 Jan 2024 08:16:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 17:55:24.378622
• Title: Lyapunov-Stable Deep Equilibrium Models
• Title（参考訳）: リアプノフ安定深層平衡モデル
• Authors: Haoyu Chu, Shikui Wei, Ting Liu, Yao Zhao and Yuto Miyatake
• Abstract要約: Lyapunov理論による証明可能な安定性を保証する頑健なDECモデルを提案する。 我々はLyaDEQモデルをよく知られた敵攻撃下で評価する。 LyaDEQモデルは、敵の訓練など他の防御手法と組み合わせることで、より優れたロバスト性を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 47.62037001903746
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep equilibrium (DEQ) models have emerged as a promising class of implicit layer models, which abandon traditional depth by solving for the fixed points of a single nonlinear layer. Despite their success, the stability of the fixed points for these models remains poorly understood. By considering DEQ models as nonlinear dynamic systems, we propose a robust DEQ model named LyaDEQ with guaranteed provable stability via Lyapunov theory. The crux of our method is ensuring the Lyapunov stability of the DEQ model's fixed points, which enables the proposed model to resist minor initial perturbations. To avoid poor adversarial defense due to Lyapunov-stable fixed points being located near each other, we orthogonalize the layers after the Lyapunov stability module to separate different fixed points. We evaluate LyaDEQ models under well-known adversarial attacks, and experimental results demonstrate significant improvement in robustness. Furthermore, we show that the LyaDEQ model can be combined with other defense methods, such as adversarial training, to achieve even better adversarial robustness.
• Abstract（参考訳）: ディープ均衡モデル(Deep equilibrium Model, DEQ)は、単一の非線形層の固定点を解くことによって従来の深さを放棄する暗黙の層モデルである。 その成功にもかかわらず、これらのモデルの不動点の安定性は未だよく分かっていない。 非線形力学系としてDECモデルを考慮し、リアプノフ理論による証明可能な安定性を保証した頑健なDECモデルLyaDEQを提案する。 提案手法の要点は,DECモデルの固定点のリアプノフ安定性を保証することである。 リャプノフ安定な固定点が互いに近くにあることによる対角防御の悪さを避けるため、リャプノフ安定モジュールの後に層を直交させて異なる固定点を分離する。 我々は、LyaDEQモデルをよく知られた敵攻撃下で評価し、実験結果によりロバスト性に大きな改善が認められた。 さらに,LyaDEQモデルは,対戦訓練などの他の防御手法と組み合わせることで,より優れた対戦力を実現することができることを示す。

関連論文リスト

• Distributionally Robust Policy and Lyapunov-Certificate Learning [13.38077406934971]
  不確実なシステムに対する安定性を保証するコントローラの設計における重要な課題は、オンラインデプロイメント中のモデルパラメトリック不確実性の変化の正確な決定と適応である。 我々は、リアプノフ証明書の単調な減少を保証するために、リアプノフ微分チャンス制約を分布的に頑健に定式化することで、この問題に取り組む。 得られた閉ループシステムに対して、その平衡のグローバルな安定性は、アウト・オブ・ディストリビューションの不確実性があっても高い信頼性で証明できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T18:57:54Z)
• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)
• Positive concave deep equilibrium models [7.148312060227714]
  ディープ平衡モデル(Deep equilibrium Model, DEQ)は、標準的なニューラルネットワークに代わるメモリ効率のモデルである。 正凹深部平衡モデル(pcDEQ)と呼ばれる新しいDECモデルを導入する。 非線形ペロン・フロベニウス理論に基づく我々のアプローチは、正のオーサント上に凹む非負の重みと活性化関数を強制する。
  論文  参考訳（メタデータ） (2024-02-06T14:24:29Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Improving Adversarial Robustness of DEQs with Explicit Regulations Along the Neural Dynamics [26.94367957377311]
  ディープ・平衡(DEQ)モデルは、従来のディープ・ネットワークの多重層積み重ねを単一層変換の固定点反復で置き換える。 既存の作業は、広く使われている対戦訓練(AT)フレームワークで一般的なDECモデルの堅牢性を改善するが、DECモデルの構造的特異性を利用するには至らなかった。 ニューラルダイナミクスに沿って入力を段階的に更新することで予測エントロピーを低減することを提案する。 我々の手法はDECモデルのロバスト性を大幅に向上させ、強力なディープネットワークベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-06-02T10:49:35Z)
• KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems [66.9461097311667]
  形式的安定性を保証するモデルに基づく強化学習フレームワークを提案する。 提案手法は,特徴表現を用いて信頼区間までシステムダイナミクスを学習する。 我々は、KCRLが、基礎となる未知のシステムとの有限数の相互作用において安定化ポリシーを学ぶことが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:27:04Z)
• Stable Neural ODE with Lyapunov-Stable Equilibrium Points for Defending Against Adversarial Attacks [32.88499015927756]
  我々は,Lyapunov-stable平衡点を持つ安定なニューラル・オードを提案し,敵対的攻撃(SODEF)を防御する。 我々は、SODEFの安定性に関する洞察を与える理論的な結果と、その安定性を確保するための正則化器の選択を提供する。
  論文  参考訳（メタデータ） (2021-10-25T14:09:45Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Almost Surely Stable Deep Dynamics [4.199844472131922]
  本稿では,観測データから安定なディープニューラルネットワークに基づく動的モデルを学ぶ手法を提案する。 本手法は,lyapunovニューラルネットワークを動的モデルに組み込むことにより,本質的に安定性基準を満たす。
  論文  参考訳（メタデータ） (2021-03-26T20:37:08Z)
• Efficient Empowerment Estimation for Unsupervised Stabilization [75.32013242448151]
  エンパワーメント原理は 直立位置での 力学系の教師なし安定化を可能にする 本稿では,ガウスチャネルとして動的システムのトレーニング可能な表現に基づく代替解を提案する。 提案手法は, サンプルの複雑さが低く, 訓練時より安定であり, エンパワーメント機能の本質的特性を有し, 画像からエンパワーメントを推定できることを示す。
  論文  参考訳（メタデータ） (2020-07-14T21:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。