論文の概要: Spectrum Extraction and Clipping for Implicitly Linear Layers

• arxiv url: http://arxiv.org/abs/2402.16017v1
• Date: Sun, 25 Feb 2024 07:28:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 15:55:34.431277
• Title: Spectrum Extraction and Clipping for Implicitly Linear Layers
• Title（参考訳）: 暗黙的線形層のスペクトル抽出とクリッピング
• Authors: Ali Ebrahimpour Boroojeny, Matus Telgarsky, Hari Sundaram
• Abstract要約: 暗黙的に線形作用素のスペクトルを効率よく正確に計算し、制御する上で、自動微分の有効性を示す。 一般的な畳み込み層に対して正しい第1の切り抜き法を提案する。
• 参考スコア（独自算出の注目度）: 22.789818122188922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show the effectiveness of automatic differentiation in efficiently and correctly computing and controlling the spectrum of implicitly linear operators, a rich family of layer types including all standard convolutional and dense layers. We provide the first clipping method which is correct for general convolution layers, and illuminate the representational limitation that caused correctness issues in prior work. We study the effect of the batch normalization layers when concatenated with convolutional layers and show how our clipping method can be applied to their composition. By comparing the accuracy and performance of our algorithms to the state-of-the-art methods, using various experiments, we show they are more precise and efficient and lead to better generalization and adversarial robustness. We provide the code for using our methods at https://github.com/Ali-E/FastClip.
• Abstract（参考訳）: 我々は,すべての標準畳み込み層と高密度層を含む多層層群である暗黙線形作用素のスペクトルを効率よく正確に計算し,制御する上で,自動微分の有効性を示す。 一般的な畳み込み層に対して正しい第1の切り抜き法を提案し, 先行作業の正確性問題の原因となる表現制限を照明する。 畳み込み層と結合した場合のバッチ正規化層の効果について検討し, クリップ法をその構成にどのように適用できるかを示す。 アルゴリズムの精度と性能を最先端の手法と比較することにより,より正確かつ効率的で,より一般化と逆ロバスト性が向上することを示す。 メソッドを使用するためのコードはhttps://github.com/Ali-E/FastClip.orgで公開しています。

関連論文リスト

• Spectral Norm of Convolutional Layers with Circular and Zero Paddings [55.233197272316275]
  畳み込み層をゼロにするためのGramの反復法を一般化し、その二次収束を証明した。 また、円と零のパッドド・コンボリューションのスペクトルノルムのギャップを埋めるための定理も提供する。
  論文  参考訳（メタデータ） (2024-01-31T23:48:48Z)
• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Improving Generalization of Batch Whitening by Convolutional Unit Optimization [24.102442375834084]
  バッチホワイトニング(Batch Whitening)は、入力特徴をゼロ平均(Centering)と単位分散(Scaling)に変換することで、トレーニングを加速し、安定化する技術である。 バッチ正規化を経験的に最適化した一般的な構造では、正規化層は畳み込みとアクティベーション関数の間に現れる。 本稿では,この理論に則った新しい畳み込み単位を提案する。
  論文  参考訳（メタデータ） (2021-08-24T10:27:57Z)
• Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
  直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。 本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
  論文  参考訳（メタデータ） (2021-04-14T23:54:55Z)
• Data-efficient Alignment of Multimodal Sequences by Aligning Gradient Updates and Internal Feature Distributions [36.82512331179322]
  近年の研究では、異なるモダリティを扱うネットワークコンポーネントが、異なる速度でオーバーフィットし、一般化し、トレーニングの難しさを生んでいることが示唆されている。 本稿では,各層における勾配更新の規模を調整し,学習速度のバランスをとるため,LARS(Layer-wise Adaptive Rate Scaling)を提案する。 また、シーケンスワイドバッチ正規化(SBN)を用いて、内部の特徴分布を異なるモードから整列する。
  論文  参考訳（メタデータ） (2020-11-15T13:04:25Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• A block coordinate descent optimizer for classification problems exploiting convexity [0.0]
  隠れ層の重み付けにおけるクロスエントロピー損失の凸性を利用した分類タスクのためのディープ線形ネットワークに座標降下法を導入する。 線形層に対する大域的最適パラメータと隠蔽層への勾配勾配を求める2次法とを交互に組み合わせることで、トレーニング全体を通してデータに対する適応基底の最適適合性を確保する。
  論文  参考訳（メタデータ） (2020-06-17T19:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。