論文の概要: Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality

• arxiv url: http://arxiv.org/abs/2207.02119v1
• Date: Tue, 5 Jul 2022 15:39:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-06 14:24:09.268424
• Title: Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality
• Title（参考訳）: 直交性によるSVDメタ層の共分散条件の改善
• Authors: Yue Song, Nicu Sebe, Wei Wang
• Abstract要約: 最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
• 参考スコア（独自算出の注目度）: 65.67315418971688
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Inserting an SVD meta-layer into neural networks is prone to make the covariance ill-conditioned, which could harm the model in the training stability and generalization abilities. In this paper, we systematically study how to improve the covariance conditioning by enforcing orthogonality to the Pre-SVD layer. Existing orthogonal treatments on the weights are first investigated. However, these techniques can improve the conditioning but would hurt the performance. To avoid such a side effect, we propose the Nearest Orthogonal Gradient (NOG) and Optimal Learning Rate (OLR). The effectiveness of our methods is validated in two applications: decorrelated Batch Normalization (BN) and Global Covariance Pooling (GCP). Extensive experiments on visual recognition demonstrate that our methods can simultaneously improve the covariance conditioning and generalization. Moreover, the combinations with orthogonal weight can further boost the performances.
• Abstract（参考訳）: SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になり、トレーニング安定性と一般化能力のモデルに悪影響を及ぼす可能性がある。 本稿では,プレSVD層に直交性を持たせることで,共分散条件の改善方法を体系的に研究する。 既往の体重に対する直交治療について検討した。 しかし、これらの技術はコンディショニングを改善することができるが、性能を損なう。 このような副作用を避けるために,最も近い直交勾配 (nog) と最適学習率 (olr) を提案する。 本手法の有効性は,Decorrelated Batch Normalization (BN) と Global Covariance Pooling (GCP) の2つのアプリケーションで検証されている。 広汎な視覚認識実験により,共分散条件と一般化を同時に改善できることが示されている。 さらに, 直交重みとの組合せにより, 性能がさらに向上する。

関連論文リスト

• Orthogonal SVD Covariance Conditioning and Latent Disentanglement [65.67315418971688]
  SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。 我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-12-11T20:31:31Z)
• Enhancing Adversarial Training with Second-Order Statistics of Weights [23.90998469971413]
  モデル重みをランダム変数として扱うことにより,textbfSecond-Order textbfStatistics textbfOptimization による逆トレーニングの強化が可能であることを示す。 我々は、S$2$Oが、単独で使用する場合のトレーニングニューラルネットワークの堅牢性と一般化を向上するだけでなく、最先端の対人訓練技術にも容易に統合できることを示す広範な実験を行う。
  論文  参考訳（メタデータ） (2022-03-11T15:40:57Z)
• Heterogeneous Calibration: A post-hoc model-agnostic framework for improved generalization [8.815439276597818]
  モデル出力にポストホックモデル非依存変換を適用した不均一キャリブレーションの概念を導入し、二項分類タスクにおけるAUC性能を改善する。 単純なパターンを特徴空間の不均一なパーティションと呼び、各パーティションの完全校正がAUCを個別に最適化することを理論的に示す。 このフレームワークの理論的最適性はどんなモデルにも当てはまるが、ディープニューラルネットワーク(DNN)に注目し、このパラダイムの最も単純なインスタンス化をさまざまなオープンソースデータセットでテストする。
  論文  参考訳（メタデータ） (2022-02-10T05:08:50Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Stratified Learning: A General-Purpose Statistical Method for Improved Learning under Covariate Shift [1.1470070927586016]
  本稿では,学習セットが代表的でない場合の教師あり学習を改善するための,シンプルで統計的に原理化された理論的に正当化された手法を提案する。 因果推論において確立された方法論を基礎として,共変量シフトの影響を条件付けによって低減・排除できることを示す。 本稿では,宇宙論における2つの現代の研究課題に対する汎用的手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-21T15:53:20Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。