論文の概要: Towards Better Orthogonality Regularization with Disentangled Norm in
Training Deep CNNs
- arxiv url: http://arxiv.org/abs/2306.09939v1
- Date: Fri, 16 Jun 2023 16:19:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 13:00:48.151736
- Title: Towards Better Orthogonality Regularization with Disentangled Norm in
Training Deep CNNs
- Title（参考訳）: 直交ノルムを用いた深部CNN訓練における直交正規化の改善に向けて
- Authors: Changhao Wu, Shenan Zhang, Fangsong Long, Ziliang Yin, Tuo Leng
- Abstract要約: 本稿では,残差から対角線と相関情報をアンタングル化するフィルタの直交性向上のための新しい手法を提案する。
我々は CIFAR-10 と CIFAR-100 で ResNet と WideResNet のカーネル直交正規化ツールキットを用いて実験を行った。
- 参考スコア（独自算出の注目度）: 0.37498611358320727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Orthogonality regularization has been developed to prevent deep CNNs from
training instability and feature redundancy. Among existing proposals, kernel
orthogonality regularization enforces orthogonality by minimizing the residual
between the Gram matrix formed by convolutional filters and the orthogonality
matrix.
We propose a novel measure for achieving better orthogonality among filters,
which disentangles diagonal and correlation information from the residual. The
model equipped with the measure under the principle of imposing strict
orthogonality between filters surpasses previous regularization methods in
near-orthogonality. Moreover, we observe the benefits of improved strict filter
orthogonality in relatively shallow models, but as model depth increases, the
performance gains in models employing strict kernel orthogonality decrease
sharply.
Furthermore, based on the observation of the potential conflict between
strict kernel orthogonality and growing model capacity, we propose a relaxation
theory on kernel orthogonality regularization. The relaxed kernel orthogonality
achieves enhanced performance on models with increased capacity, shedding light
on the burden of strict kernel orthogonality on deep model performance.
We conduct extensive experiments with our kernel orthogonality regularization
toolkit on ResNet and WideResNet in CIFAR-10 and CIFAR-100. We observe
state-of-the-art gains in model performance from the toolkit, which includes
both strict orthogonality and relaxed orthogonality regularization, and obtain
more robust models with expressive features. These experiments demonstrate the
efficacy of our toolkit and subtly provide insights into the often overlooked
challenges posed by strict orthogonality, addressing the burden of strict
orthogonality on capacity-rich models.
- Abstract（参考訳）: 直交正則化は、深いCNNが不安定性と特徴冗長性を訓練するのを防ぐために開発された。
既存の提案の中で、カーネル直交正則化は、畳み込みフィルタによって形成されるグラム行列と直交行列の間の残差を最小化することによって直交を強制する。
本稿では,残差から対角線と相関情報を乱すフィルタの直交性向上のための新しい手法を提案する。
フィルタ間の厳密な直交性を付与する原理に基づく尺度を備えたモデルは、ほぼ直交性において以前の正規化法を超越する。
さらに、比較的浅いモデルにおける厳密なフィルタ直交性の改善の利点を観察するが、モデル深度が増加するにつれて、厳密なカーネル直交性を用いたモデルの性能向上が急激に減少する。
さらに,厳密な核直交性と成長モデル容量との潜在的な衝突の観測に基づいて,核直交性正則化に関する緩和理論を提案する。
緩和されたカーネル直交性は、高容量のモデルの性能向上を実現し、深いモデル性能に対する厳密なカーネル直交性の負担に光を当てる。
我々は CIFAR-10 と CIFAR-100 において ResNet と WideResNet のカーネル直交正規化ツールキットを用いた広範な実験を行った。
厳密な直交と緩和された直交正則化の両方を含むツールキットによるモデル性能の最先端化を観察し、表現的特徴を持つより堅牢なモデルを得る。
これらの実験は我々のツールキットの有効性を実証し、厳密な直交性によってしばしば見過ごされがちな課題に対する洞察を、容量豊富なモデルに対する厳密な直交性の負担に対処する。
関連論文リスト
- Efficient Algorithms for Regularized Nonnegative Scale-invariant Low-rank Approximation Models [3.6034001987137767]
低ランク近似モデルに固有のスケール不変性は、予期せぬ有益効果と有害効果の両方で暗黙の正則化を引き起こすことを示す。
正規化された非負の低ランク近似を多数処理する一般化行列化最小化アルゴリズムを導出する。
我々は,スパース非負行列因子分解,リッジ規則化カノニカルポリアディック分解,スパース非負タッカー分解への貢献を紹介する。
論文 参考訳（メタデータ） (2024-03-27T12:49:14Z) - Low-resolution Prior Equilibrium Network for CT Reconstruction [3.5639148953570836]
本稿では,低分解能画像を導入し,ネットワークの堅牢性を改善するための効果的な正規化項を得る,新しいディープラーニングベースのCT再構成モデルを提案する。
狭角化と狭角化の両問題を実験的に検討し, ノイズ低減, コントラスト・ツー・ノイズ比, エッジ細部保存の両面において, エンド・ツー・エンドの低分解能事前平衡モデルが他の最先端手法よりも優れていることを示した。
論文 参考訳（メタデータ） (2024-01-28T13:59:58Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Generalizing and Improving Jacobian and Hessian Regularization [1.926971915834451]
対象行列をゼロから効率的な行列ベクトル積を持つ任意の行列に拡張することで、これまでの取り組みを一般化する。
提案されたパラダイムは、正方形ヤコビ行列とヘッセン行列に対称性や対角性を強制する新しい正規化項を構築することを可能にする。
本稿では、Laczosに基づくスペクトルノルム最小化を導入し、この問題に対処する。
論文 参考訳（メタデータ） (2022-12-01T07:01:59Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。
MVSCに適合する新しい構造テンソル低ランクノルムを設計する。
提案手法は最先端の手法よりもかなり優れていることを示す。
論文 参考訳（メタデータ） (2020-04-30T11:52:12Z) - Controllable Orthogonalization in Training DNNs [96.1365404059924]
直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。
本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。
本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。
また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
論文 参考訳（メタデータ） (2020-04-02T10:14:27Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z) - Self-Orthogonality Module: A Network Architecture Plug-in for Learning
Orthogonal Filters [28.54654866641997]
ネットワーク内のフィルタ角の平均と分散を同時に90と0にプッシュするために,暗黙的な自己正規化をORに導入する。
我々の正規化はアーキテクチャプラグインとして実装でき、任意のネットワークに統合できる。
論文 参考訳（メタデータ） (2020-01-05T17:31:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。