論文の概要: Orthogonal SVD Covariance Conditioning and Latent Disentanglement
- arxiv url: http://arxiv.org/abs/2212.05599v1
- Date: Sun, 11 Dec 2022 20:31:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 15:35:49.988884
- Title: Orthogonal SVD Covariance Conditioning and Latent Disentanglement
- Title(参考訳): 直交svd共分散条件と潜在性乱れ
- Authors: Yue Song, Nicu Sebe, Wei Wang
- Abstract要約: SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。
我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。
視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
- 参考スコア(独自算出の注目度): 65.67315418971688
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Inserting an SVD meta-layer into neural networks is prone to make the
covariance ill-conditioned, which could harm the model in the training
stability and generalization abilities. In this paper, we systematically study
how to improve the covariance conditioning by enforcing orthogonality to the
Pre-SVD layer. Existing orthogonal treatments on the weights are first
investigated. However, these techniques can improve the conditioning but would
hurt the performance. To avoid such a side effect, we propose the Nearest
Orthogonal Gradient (NOG) and Optimal Learning Rate (OLR). The effectiveness of
our methods is validated in two applications: decorrelated Batch Normalization
(BN) and Global Covariance Pooling (GCP). Extensive experiments on visual
recognition demonstrate that our methods can simultaneously improve covariance
conditioning and generalization. The combinations with orthogonal weight can
further boost the performance. Moreover, we show that our orthogonality
techniques can benefit generative models for better latent disentanglement
through a series of experiments on various benchmarks. Code is available at:
\href{https://github.com/KingJamesSong/OrthoImproveCond}{https://github.com/KingJamesSong/OrthoImproveCond}.
- Abstract(参考訳): SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になり、トレーニング安定性と一般化能力のモデルに悪影響を及ぼす可能性がある。
本稿では,プレSVD層に直交性を持たせることで,共分散条件の改善方法を体系的に研究する。
既往の体重に対する直交治療について検討した。
しかし、これらの技術はコンディショニングを改善することができるが、性能を損なう。
このような副作用を避けるために,最も近い直交勾配 (nog) と最適学習率 (olr) を提案する。
本手法の有効性は,Decorrelated Batch Normalization (BN) と Global Covariance Pooling (GCP) の2つのアプリケーションで検証されている。
広汎な視覚認識実験により,共分散条件と一般化を同時に改善できることが示されている。
直交重量との組合せは性能をさらに高めることができる。
さらに,本手法は,様々なベンチマークにおける一連の実験を通して,潜在性不連続性を改善するための生成モデルに有用であることを示す。
コードは以下の通り。 \href{https://github.com/KingJamesSong/OrthoImproveCond}{https://github.com/KingJamesSong/OrthoImproveCond}。
関連論文リスト
- Stochastic Optimal Control Matching [56.325232632863276]
最適制御マッチング(SOCM)は、最適制御のための新しい反復拡散最適化(IDO)技術である。
本アルゴリズムは4つの制御問題のうち3つに対して最適制御を行うために既存のすべてのIDO手法よりも低い誤差を実現する。
論文 参考訳(メタデータ) (2023-12-04T16:49:43Z) - Group Orthogonalization Regularization For Vision Models Adaptation and
Robustness [31.43307762723943]
同じ層内のフィルタ群間の正則性を促進する計算効率の良い正規化手法を提案する。
実験により,近年の拡散モデルと視覚変換器(ViT)の適応手法に組み込むと,この正規化により下流タスクの性能が向上することが示された。
論文 参考訳(メタデータ) (2023-06-16T17:53:16Z) - Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。
視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
論文 参考訳(メタデータ) (2022-07-05T15:39:29Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳(メタデータ) (2021-12-10T20:46:13Z) - Orthogonal Jacobian Regularization for Unsupervised Disentanglement in
Image Generation [64.92152574895111]
直交ジャコビアン正規化法(OroJaR)を提案する。
提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
論文 参考訳(メタデータ) (2021-08-17T15:01:46Z) - Adapting by Pruning: A Case Study on BERT [9.963251767416967]
対象タスクの性能を最適化するために,事前学習したモデルの神経接続をpruneするプラニングにより適応する新しいモデル適応パラダイムを提案する。
本稿では, 最適化問題として適応分割法を定式化し, モデル作成のための効率的なアルゴリズムを提案する。
以上の結果から,提案手法は細調整フルモデルと同等の性能を示しながら,BERTの最大50%の重み付けが可能であることが示唆された。
論文 参考訳(メタデータ) (2021-05-07T15:51:08Z) - Why Approximate Matrix Square Root Outperforms Accurate SVD in Global
Covariance Pooling? [59.820507600960745]
本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。
提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-05-06T08:03:45Z) - Adaptive Consistency Regularization for Semi-Supervised Transfer
Learning [31.66745229673066]
我々は,半教師付き学習と移動学習を共同で検討し,より実践的で競争的なパラダイムへと導いた。
事前学習した重みとラベルなしの目標サンプルの両方の価値をよりよく活用するために、適応整合正則化を導入する。
提案手法は,Pseudo Label,Mean Teacher,MixMatchといった,最先端の半教師付き学習技術より優れた適応整合性正規化を実現する。
論文 参考訳(メタデータ) (2021-03-03T05:46:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。