論文の概要: Self-Orthogonality Module: A Network Architecture Plug-in for Learning Orthogonal Filters

• arxiv url: http://arxiv.org/abs/2001.01275v2
• Date: Fri, 17 Jan 2020 18:10:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 08:01:06.998739
• Title: Self-Orthogonality Module: A Network Architecture Plug-in for Learning Orthogonal Filters
• Title（参考訳）: 自己直交モジュール:直交フィルタ学習のためのネットワークアーキテクチャプラグイン
• Authors: Ziming Zhang, Wenchi Ma, Yuanwei Wu, Guanghui Wang
• Abstract要約: ネットワーク内のフィルタ角の平均と分散を同時に90と0にプッシュするために,暗黙的な自己正規化をORに導入する。 我々の正規化はアーキテクチャプラグインとして実装でき、任意のネットワークに統合できる。
• 参考スコア（独自算出の注目度）: 28.54654866641997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the empirical impact of orthogonality regularization (OR) in deep learning, either solo or collaboratively. Recent works on OR showed some promising results on the accuracy. In our ablation study, however, we do not observe such significant improvement from existing OR techniques compared with the conventional training based on weight decay, dropout, and batch normalization. To identify the real gain from OR, inspired by the locality sensitive hashing (LSH) in angle estimation, we propose to introduce an implicit self-regularization into OR to push the mean and variance of filter angles in a network towards 90 and 0 simultaneously to achieve (near) orthogonality among the filters, without using any other explicit regularization. Our regularization can be implemented as an architectural plug-in and integrated with an arbitrary network. We reveal that OR helps stabilize the training process and leads to faster convergence and better generalization.
• Abstract（参考訳）: 本稿では,直交正則化(OR)が単体あるいは協調的に深層学習に与える影響を実証的に検討する。 最近の研究は、その正確性について有望な結果を示している。 しかし,本研究では,従来の重量減少,ドロップアウト,バッチ正規化に基づくトレーニングに比べ,既存のOR手法による改善は見られていない。 角度推定における局所性センシティブハッシュ (lsh) に触発された実利得を同定するために,ネットワーク内のフィルタ角の平均および分散を90及び0まで同時に押し上げるための暗黙的自己正規化を導入することを提案し,他の明示的な正規化を使わずにフィルタ間の直交性を実現する。 我々の正規化はアーキテクチャプラグインとして実装でき、任意のネットワークに統合できる。 ORはトレーニングプロセスの安定化に役立ち,より高速な収束と一般化を実現する。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Group Orthogonalization Regularization For Vision Models Adaptation and Robustness [31.43307762723943]
  同じ層内のフィルタ群間の正則性を促進する計算効率の良い正規化手法を提案する。 実験により,近年の拡散モデルと視覚変換器(ViT)の適応手法に組み込むと,この正規化により下流タスクの性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-06-16T17:53:16Z)
• Towards Better Orthogonality Regularization with Disentangled Norm in Training Deep CNNs [0.37498611358320727]
  本稿では,残差から対角線と相関情報をアンタングル化するフィルタの直交性向上のための新しい手法を提案する。 我々は CIFAR-10 と CIFAR-100 で ResNet と WideResNet のカーネル直交正規化ツールキットを用いて実験を行った。
  論文  参考訳（メタデータ） (2023-06-16T16:19:59Z)
• Orthogonal SVD Covariance Conditioning and Latent Disentanglement [65.67315418971688]
  SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。 我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-12-11T20:31:31Z)
• Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
  最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。 まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
  論文  参考訳（メタデータ） (2022-10-07T15:59:13Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)
• Sparsity Aware Normalization for GANs [32.76828505875087]
  GAN(Generative adversarial Network)は、トレーニング中の批判的(差別的)ネットワークの正規化または正規化の恩恵を受けることが知られている。 本稿では,一般のスペクトル正規化スキームを分析し,有意な欠点を見つけ,GANトレーニングの安定化のための新たなアプローチであるスパーシャリティ認識正規化(SAN)を導入する。
  論文  参考訳（メタデータ） (2021-03-03T15:05:18Z)
• Learning Sparse Filters in Deep Convolutional Neural Networks with a l1/l2 Pseudo-Norm [5.3791844634527495]
  ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。 近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。 フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
  論文  参考訳（メタデータ） (2020-07-20T11:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。