Fugu-MT 論文翻訳(概要): Group Orthogonalization Regularization For Vision Models Adaptation and Robustness

論文の概要: Group Orthogonalization Regularization For Vision Models Adaptation and Robustness

arxiv url: http://arxiv.org/abs/2306.10001v2
Date: Sun, 18 Feb 2024 17:01:06 GMT
ステータス: 処理完了
システム内更新日: 2024-02-21 06:33:53.588480
Title: Group Orthogonalization Regularization For Vision Models Adaptation and Robustness
Title（参考訳）: 視覚モデル適応とロバストネスのための群直交化正規化
Authors: Yoav Kurtz, Noga Bar, Raja Giryes
Abstract要約: 同じ層内のフィルタ群間の正則性を促進する計算効率の良い正規化手法を提案する。実験により,近年の拡散モデルと視覚変換器(ViT)の適応手法に組み込むと,この正規化により下流タスクの性能が向上することが示された。
参考スコア（独自算出の注目度）: 31.43307762723943
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As neural networks become deeper, the redundancy within their parameters increases. This phenomenon has led to several methods that attempt to reduce the correlation between convolutional filters. We propose a computationally efficient regularization technique that encourages orthonormality between groups of filters within the same layer. Our experiments show that when incorporated into recent adaptation methods for diffusion models and vision transformers (ViTs), this regularization improves performance on downstream tasks. We further show improved robustness when group orthogonality is enforced during adversarial training. Our code is available at https://github.com/YoavKurtz/GOR.
Abstract（参考訳）: ニューラルネットワークが深まるにつれて、パラメータ内の冗長性が増大する。この現象は、畳み込みフィルタ間の相関を減らそうとするいくつかの方法につながった。同じ層内のフィルタ群間の正則性を促進する計算効率の良い正規化手法を提案する。実験により,近年の拡散モデルと視覚変換器(ViT)の適応手法に組み込むと,この正規化により下流タスクの性能が向上することが示された。また,対人訓練中に集団直交を施行した場合の頑健性も改善した。私たちのコードはhttps://github.com/yoavkurtz/gorで入手できます。

関連論文リスト

Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Adaptive aggregation of Monte Carlo augmented decomposed filters for efficient group-equivariant convolutional neural network [0.36122488107441414]
グループ等価畳み込みニューラルネットワーク(G-CNN)は、CNNのデータ効率と性能を向上させるためにパラメータ共有に大きく依存している。群同変ニューラルネットワークに対する非パラメータ共有手法を提案する。提案手法は, 拡張フィルタの重み付け和により, 多様なフィルタを適応的に集約する。
論文参考訳（メタデータ） (2023-05-17T10:18:02Z)
LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral Image Generation with Variance Regularization [72.4394510913927]
ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。 GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
論文参考訳（メタデータ） (2023-04-29T00:25:02Z)
Orthogonal SVD Covariance Conditioning and Latent Disentanglement [65.67315418971688]
SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
論文参考訳（メタデータ） (2022-12-11T20:31:31Z)
Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
論文参考訳（メタデータ） (2022-07-05T15:39:29Z)
Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
論文参考訳（メタデータ） (2021-11-11T15:15:11Z)
Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
正規化法はノイズや入力の腐敗に関して脆弱性を増大させる本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文参考訳（メタデータ） (2021-10-05T11:36:25Z)
Robust Learning with Frequency Domain Regularization [1.370633147306388]
モデルのフィルタの周波数スペクトルを制約し,新しい正規化手法を提案する。本研究では,(1)対向的摂動を抑えること,(2)異なるアーキテクチャにおける一般化のギャップを小さくすること,(3)微調整を伴わない伝達学習シナリオにおける一般化能力を向上させることによる正規化の有効性を実証する。
論文参考訳（メタデータ） (2020-07-07T07:29:20Z)
DCT-Conv: Coding filters in convolutional networks with Discrete Cosine Transform [0.0]
スペクトル選択成分をオフにすることで、ネットワークのトレーニングされた重みの数を減らし、その性能にどのように影響するかを分析する。実験により、訓練されたDCTパラメータでフィルタをコーディングすると、従来の畳み込みよりも改善されることが示された。
論文参考訳（メタデータ） (2020-01-23T13:58:17Z)
Self-Orthogonality Module: A Network Architecture Plug-in for Learning Orthogonal Filters [28.54654866641997]
ネットワーク内のフィルタ角の平均と分散を同時に90と0にプッシュするために,暗黙的な自己正規化をORに導入する。我々の正規化はアーキテクチャプラグインとして実装でき、任意のネットワークに統合できる。
論文参考訳（メタデータ） (2020-01-05T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。