論文の概要: Towards Better Orthogonality Regularization with Disentangled Norm in
Training Deep CNNs
- arxiv url: http://arxiv.org/abs/2306.09939v1
- Date: Fri, 16 Jun 2023 16:19:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 13:00:48.151736
- Title: Towards Better Orthogonality Regularization with Disentangled Norm in
Training Deep CNNs
- Title（参考訳）: 直交ノルムを用いた深部CNN訓練における直交正規化の改善に向けて
- Authors: Changhao Wu, Shenan Zhang, Fangsong Long, Ziliang Yin, Tuo Leng
- Abstract要約: 本稿では,残差から対角線と相関情報をアンタングル化するフィルタの直交性向上のための新しい手法を提案する。
我々は CIFAR-10 と CIFAR-100 で ResNet と WideResNet のカーネル直交正規化ツールキットを用いて実験を行った。
- 参考スコア（独自算出の注目度）: 0.37498611358320727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Orthogonality regularization has been developed to prevent deep CNNs from
training instability and feature redundancy. Among existing proposals, kernel
orthogonality regularization enforces orthogonality by minimizing the residual
between the Gram matrix formed by convolutional filters and the orthogonality
matrix.
We propose a novel measure for achieving better orthogonality among filters,
which disentangles diagonal and correlation information from the residual. The
model equipped with the measure under the principle of imposing strict
orthogonality between filters surpasses previous regularization methods in
near-orthogonality. Moreover, we observe the benefits of improved strict filter
orthogonality in relatively shallow models, but as model depth increases, the
performance gains in models employing strict kernel orthogonality decrease
sharply.
Furthermore, based on the observation of the potential conflict between
strict kernel orthogonality and growing model capacity, we propose a relaxation
theory on kernel orthogonality regularization. The relaxed kernel orthogonality
achieves enhanced performance on models with increased capacity, shedding light
on the burden of strict kernel orthogonality on deep model performance.
We conduct extensive experiments with our kernel orthogonality regularization
toolkit on ResNet and WideResNet in CIFAR-10 and CIFAR-100. We observe
state-of-the-art gains in model performance from the toolkit, which includes
both strict orthogonality and relaxed orthogonality regularization, and obtain
more robust models with expressive features. These experiments demonstrate the
efficacy of our toolkit and subtly provide insights into the often overlooked
challenges posed by strict orthogonality, addressing the burden of strict
orthogonality on capacity-rich models.
- Abstract（参考訳）: 直交正則化は、深いCNNが不安定性と特徴冗長性を訓練するのを防ぐために開発された。
既存の提案の中で、カーネル直交正則化は、畳み込みフィルタによって形成されるグラム行列と直交行列の間の残差を最小化することによって直交を強制する。
本稿では,残差から対角線と相関情報を乱すフィルタの直交性向上のための新しい手法を提案する。
フィルタ間の厳密な直交性を付与する原理に基づく尺度を備えたモデルは、ほぼ直交性において以前の正規化法を超越する。
さらに、比較的浅いモデルにおける厳密なフィルタ直交性の改善の利点を観察するが、モデル深度が増加するにつれて、厳密なカーネル直交性を用いたモデルの性能向上が急激に減少する。
さらに,厳密な核直交性と成長モデル容量との潜在的な衝突の観測に基づいて,核直交性正則化に関する緩和理論を提案する。
緩和されたカーネル直交性は、高容量のモデルの性能向上を実現し、深いモデル性能に対する厳密なカーネル直交性の負担に光を当てる。
我々は CIFAR-10 と CIFAR-100 において ResNet と WideResNet のカーネル直交正規化ツールキットを用いた広範な実験を行った。
厳密な直交と緩和された直交正則化の両方を含むツールキットによるモデル性能の最先端化を観察し、表現的特徴を持つより堅牢なモデルを得る。
これらの実験は我々のツールキットの有効性を実証し、厳密な直交性によってしばしば見過ごされがちな課題に対する洞察を、容量豊富なモデルに対する厳密な直交性の負担に対処する。
関連論文リスト
- A theoretical framework for overfitting in energy-based modeling [5.1337384597700995]
相互作用ネットワークの同定を目的とした逆問題に対するペアワイズエネルギーベースモデルの学習における限られたデータの影響について検討する。
我々は、結合行列の固有基底を横断する訓練軌跡を識別し、固有モデムの独立進化を利用する。
有限データ補正は確率行列理論計算によって正確にモデル化可能であることを示す。
論文 参考訳（メタデータ） (2025-01-31T14:21:02Z) - Diagonal Over-parameterization in Reproducing Kernel Hilbert Spaces as an Adaptive Feature Model: Generalization and Adaptivity [11.644182973599788]
対角適応カーネルモデルは、トレーニング中にカーネル固有値と出力係数を同時に学習する。
適応性は、トレーニング中に正しい固有値を学ぶことから生じることを示す。
論文 参考訳（メタデータ） (2025-01-15T09:20:02Z) - Efficient Algorithms for Regularized Nonnegative Scale-invariant Low-rank Approximation Models [3.6034001987137767]
低ランク近似モデルにおける正規化関数の役割について検討する。
本稿では,$ell_pp$-regularized non- negative low-rank approximation を扱える汎用なMajorization-Minimization (MM)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-27T12:49:14Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。
MVSCに適合する新しい構造テンソル低ランクノルムを設計する。
提案手法は最先端の手法よりもかなり優れていることを示す。
論文 参考訳（メタデータ） (2020-04-30T11:52:12Z) - Controllable Orthogonalization in Training DNNs [96.1365404059924]
直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。
本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。
本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。
また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
論文 参考訳（メタデータ） (2020-04-02T10:14:27Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z) - Self-Orthogonality Module: A Network Architecture Plug-in for Learning
Orthogonal Filters [28.54654866641997]
ネットワーク内のフィルタ角の平均と分散を同時に90と0にプッシュするために,暗黙的な自己正規化をORに導入する。
我々の正規化はアーキテクチャプラグインとして実装でき、任意のネットワークに統合できる。
論文 参考訳（メタデータ） (2020-01-05T17:31:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。