論文の概要: Orthogonal SVD Covariance Conditioning and Latent Disentanglement

• arxiv url: http://arxiv.org/abs/2212.05599v1
• Date: Sun, 11 Dec 2022 20:31:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 15:35:49.988884
• Title: Orthogonal SVD Covariance Conditioning and Latent Disentanglement
• Title（参考訳）: 直交svd共分散条件と潜在性乱れ
• Authors: Yue Song, Nicu Sebe, Wei Wang
• Abstract要約: SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。 我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
• 参考スコア（独自算出の注目度）: 65.67315418971688
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Inserting an SVD meta-layer into neural networks is prone to make the covariance ill-conditioned, which could harm the model in the training stability and generalization abilities. In this paper, we systematically study how to improve the covariance conditioning by enforcing orthogonality to the Pre-SVD layer. Existing orthogonal treatments on the weights are first investigated. However, these techniques can improve the conditioning but would hurt the performance. To avoid such a side effect, we propose the Nearest Orthogonal Gradient (NOG) and Optimal Learning Rate (OLR). The effectiveness of our methods is validated in two applications: decorrelated Batch Normalization (BN) and Global Covariance Pooling (GCP). Extensive experiments on visual recognition demonstrate that our methods can simultaneously improve covariance conditioning and generalization. The combinations with orthogonal weight can further boost the performance. Moreover, we show that our orthogonality techniques can benefit generative models for better latent disentanglement through a series of experiments on various benchmarks. Code is available at: \href{https://github.com/KingJamesSong/OrthoImproveCond}{https://github.com/KingJamesSong/OrthoImproveCond}.
• Abstract（参考訳）: SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になり、トレーニング安定性と一般化能力のモデルに悪影響を及ぼす可能性がある。 本稿では,プレSVD層に直交性を持たせることで,共分散条件の改善方法を体系的に研究する。 既往の体重に対する直交治療について検討した。 しかし、これらの技術はコンディショニングを改善することができるが、性能を損なう。 このような副作用を避けるために,最も近い直交勾配 (nog) と最適学習率 (olr) を提案する。 本手法の有効性は,Decorrelated Batch Normalization (BN) と Global Covariance Pooling (GCP) の2つのアプリケーションで検証されている。 広汎な視覚認識実験により,共分散条件と一般化を同時に改善できることが示されている。 直交重量との組合せは性能をさらに高めることができる。 さらに,本手法は,様々なベンチマークにおける一連の実験を通して,潜在性不連続性を改善するための生成モデルに有用であることを示す。 コードは以下の通り。 \href{https://github.com/KingJamesSong/OrthoImproveCond}{https://github.com/KingJamesSong/OrthoImproveCond}。

関連論文リスト

• PACE: marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization [35.922096876707975]
  PACE は PArameter- efficient fine-tuning with Consistency rEgularization の一般化である。 PACEは、拡張一般化のための勾配を暗黙的に正規化するだけでなく、微調整および事前訓練されたモデルも暗黙的に整列して知識を保持することを示す。 PACEは、VTAB-1k、FGVC、少数ショット学習、ドメイン適応の4つの視覚適応タスクにおいて、既存のPEFTメソッドよりも優れている。
  論文  参考訳（メタデータ） (2024-09-25T17:56:00Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• Bridging The Gap between Low-rank and Orthogonal Adaptation via Householder Reflection Adaptation [32.371755315509574]
  家庭内リフレクション適応法 (HRA) は, 家庭内リフレクションに基づく簡易かつ効果的な適応法である。 HRAは、大きな言語モデルと条件付き画像生成装置を適用する際に、学習可能なパラメータが少なくて優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-24T16:18:16Z)
• Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
  未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。 我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
  論文  参考訳（メタデータ） (2024-05-02T16:49:25Z)
• Group Orthogonalization Regularization For Vision Models Adaptation and Robustness [31.43307762723943]
  同じ層内のフィルタ群間の正則性を促進する計算効率の良い正規化手法を提案する。 実験により,近年の拡散モデルと視覚変換器(ViT)の適応手法に組み込むと,この正規化により下流タスクの性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-06-16T17:53:16Z)
• Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
  最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-07-05T15:39:29Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。