論文の概要: Orthogonalizing Convolutional Layers with the Cayley Transform

• arxiv url: http://arxiv.org/abs/2104.07167v1
• Date: Wed, 14 Apr 2021 23:54:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 14:52:13.368780
• Title: Orthogonalizing Convolutional Layers with the Cayley Transform
• Title（参考訳）: Cayley変換を用いた直交型畳み込み層
• Authors: Asher Trockman, J. Zico Kolter
• Abstract要約: 直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。 本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
• 参考スコア（独自算出の注目度）: 83.73855414030646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has highlighted several advantages of enforcing orthogonality in the weight layers of deep networks, such as maintaining the stability of activations, preserving gradient norms, and enhancing adversarial robustness by enforcing low Lipschitz constants. Although numerous methods exist for enforcing the orthogonality of fully-connected layers, those for convolutional layers are more heuristic in nature, often focusing on penalty methods or limited classes of convolutions. In this work, we propose and evaluate an alternative approach to directly parameterize convolutional layers that are constrained to be orthogonal. Specifically, we propose to apply the Cayley transform to a skew-symmetric convolution in the Fourier domain, so that the inverse convolution needed by the Cayley transform can be computed efficiently. We compare our method to previous Lipschitz-constrained and orthogonal convolutional layers and show that it indeed preserves orthogonality to a high degree even for large convolutions. Applied to the problem of certified adversarial robustness, we show that networks incorporating the layer outperform existing deterministic methods for certified defense against $\ell_2$-norm-bounded adversaries, while scaling to larger architectures than previously investigated. Code is available at https://github.com/locuslab/orthogonal-convolutions.
• Abstract（参考訳）: 最近の研究は、活性化の安定性の維持、勾配ノルムの保存、低リプシッツ定数の強制による対向ロバスト性の向上など、ディープネットワークの重み層の直交性を強化するいくつかの利点を強調している。 完全連結層を直交する多くの方法が存在するが、畳み込み層は本質的によりヒューリスティックであり、しばしばペナルティ法や畳み込みの限られたクラスに焦点を当てている。 本研究では,直交に制約された畳み込み層を直接パラメータ化するための代替手法を提案し,評価する。 具体的には、フーリエ領域のスキュー対称畳み込みにケイリー変換を適用し、ケイリー変換で必要とされる逆畳み込みを効率的に計算できるようにする。 我々は,従来のリプシッツ拘束層と直交畳み込み層との比較を行い,大きな畳み込みに対しても高い直交性を維持することを示す。 認証された敵のロバスト性の問題に適用すると、この層を組み込んだネットワークは、以前の研究よりも大規模なアーキテクチャにスケールしながら、$$$\ell_2$-normの敵に対する認証された防御のために既存の決定論的手法より優れていることを示す。 コードはhttps://github.com/locuslab/orthogonal-convolutionsで入手できる。

関連論文リスト

• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Cyclic Block Coordinate Descent With Variance Reduction for Composite Nonconvex Optimization [26.218670461973705]
  非漸近勾配ノルム保証を協調する問題の解法を提案する。 本研究は,ニューラルネットの深部学習における循環還元方式の有効性を実証するものである。
  論文  参考訳（メタデータ） (2022-12-09T19:17:39Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Existence, Stability and Scalability of Orthogonal Convolutional Neural Networks [1.0742675209112622]
  ニューラルネットワークの層に直交性を導入することは、勾配の爆発/消滅を制限することによって学習を促進することが知られている。 本稿では直交畳み込み層の理論的性質について検討する。
  論文  参考訳（メタデータ） (2021-08-12T09:30:53Z)
• Scaling-up Diverse Orthogonal Convolutional Networks with a Paraunitary Framework [16.577482515547793]
  直交畳み込み層の理論的枠組みを提案する。 我々の枠組みは、その正確性を維持しつつ、様々な畳み込み層に高い表現力を与える。 我々の層は、以前の設計と比較してディープ・ネットワークにとってメモリと計算効率が良い。
  論文  参考訳（メタデータ） (2021-06-16T20:50:59Z)
• Skew Orthogonal Convolutions [44.053067014796596]
  Lipschitzの制約付き畳み込みニューラルネットワークを$l_2$ノルムでトレーニングすることは、証明可能な対逆ロバスト性、解釈可能な勾配、安定したトレーニングなどに有用である。 Methodabvは、従来の作業よりもはるかに高速な大きな畳み込みニューラルネットワークであるLipschitzのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-05-24T17:11:44Z)
• DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
  本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。 従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-22T06:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。