論文の概要: Scaling-up Diverse Orthogonal Convolutional Networks with a Paraunitary Framework

• arxiv url: http://arxiv.org/abs/2106.09121v1
• Date: Wed, 16 Jun 2021 20:50:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 16:00:28.719074
• Title: Scaling-up Diverse Orthogonal Convolutional Networks with a Paraunitary Framework
• Title（参考訳）: パラユニタリフレームワークを用いた多様な直交畳み込みネットワークのスケールアップ
• Authors: Jiahao Su, Wonmin Byeon, Furong Huang
• Abstract要約: 直交畳み込み層の理論的枠組みを提案する。 我々の枠組みは、その正確性を維持しつつ、様々な畳み込み層に高い表現力を与える。 我々の層は、以前の設計と比較してディープ・ネットワークにとってメモリと計算効率が良い。
• 参考スコア（独自算出の注目度）: 16.577482515547793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enforcing orthogonality in neural networks is an antidote for gradient vanishing/exploding problems, sensitivity by adversarial perturbation, and bounding generalization errors. However, many previous approaches are heuristic, and the orthogonality of convolutional layers is not systematically studied: some of these designs are not exactly orthogonal, while others only consider standard convolutional layers and propose specific classes of their realizations. To address this problem, we propose a theoretical framework for orthogonal convolutional layers, which establishes the equivalence between various orthogonal convolutional layers in the spatial domain and the paraunitary systems in the spectral domain. Since there exists a complete spectral factorization of paraunitary systems, any orthogonal convolution layer can be parameterized as convolutions of spatial filters. Our framework endows high expressive power to various convolutional layers while maintaining their exact orthogonality. Furthermore, our layers are memory and computationally efficient for deep networks compared to previous designs. Our versatile framework, for the first time, enables the study of architecture designs for deep orthogonal networks, such as choices of skip connection, initialization, stride, and dilation. Consequently, we scale up orthogonal networks to deep architectures, including ResNet, WideResNet, and ShuffleNet, substantially increasing the performance over the traditional shallow orthogonal networks.
• Abstract（参考訳）: ニューラルネットワークにおける直交性の強制は、勾配の消失/露出問題、対向摂動による感度、および有界一般化誤差に対する解法である。 しかし、以前の多くのアプローチはヒューリスティックであり、畳み込み層の直交性は体系的に研究されていない。 この問題に対処するために、空間領域における様々な直交畳み込み層とスペクトル領域における準単位系との同値性を確立する直交畳み込み層の理論的枠組みを提案する。 パラユニタリ系の完全なスペクトル分解が存在するため、任意の直交畳み込み層は空間フィルタの畳み込みとしてパラメータ化することができる。 我々の枠組みは、それらの正統性を維持しつつ、様々な畳み込み層に高い表現力を与える。 さらに、我々の層は、従来の設計に比べてディープ・ネットワークのメモリと計算効率が良い。 我々の汎用フレームワークは、初めて、スキップ接続、初期化、ストライド、拡張の選択など、深い直交ネットワークのためのアーキテクチャ設計の研究を可能にします。 その結果、直交ネットワークをResNet、WideResNet、ShuffleNetなどの深層アーキテクチャにスケールアップし、従来の浅層直交ネットワークよりも性能を大幅に向上させた。

関連論文リスト

• Rotation Equivariant Proximal Operator for Deep Unfolding Methods in Image Restoration [62.41329042683779]
  本稿では, 回転対称性を組み込んだ高精度な回転同変近位ネットワークを提案する。 本研究は, 回転対称性の先行を深く展開する枠組みに効果的に組み込む, 高精度な回転同変近位ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-25T11:53:06Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Multilevel-in-Layer Training for Deep Neural Network Regression [1.6185544531149159]
  ニューラルネットワークの階層構造を構築し,訓練する多段階正規化戦略を提案する。 我々はPDE回帰問題を用いて,本手法が効果的な正則化手法であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T23:53:46Z)
• Optimisation & Generalisation in Networks of Neurons [8.078758339149822]
  この論文の目的は、人工ニューラルネットワークにおける学習の最適化と一般化理論の基礎を開発することである。 アーキテクチャに依存した一階最適化アルゴリズムを導出するための新しい理論的枠組みを提案する。 ネットワークと個々のネットワークのアンサンブルの間には,新たな対応関係が提案されている。
  論文  参考訳（メタデータ） (2022-10-18T18:58:40Z)
• Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
  直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。 本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
  論文  参考訳（メタデータ） (2021-04-14T23:54:55Z)
• Deep Networks from the Principle of Rate Reduction [32.87280757001462]
  この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。 学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。 この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
  論文  参考訳（メタデータ） (2020-10-27T06:01:43Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。