論文の概要: REPAIR: REnormalizing Permuted Activations for Interpolation Repair

• arxiv url: http://arxiv.org/abs/2211.08403v3
• Date: Mon, 25 Sep 2023 17:21:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 04:32:29.420362
• Title: REPAIR: REnormalizing Permuted Activations for Interpolation Repair
• Title（参考訳）: REPAIR:補間修復のための置換活性化の正規化
• Authors: Keller Jordan, Hanie Sedghi, Olga Saukh, Rahim Entezari, Behnam Neyshabur
• Abstract要約: ニューラルネットワークの置換不変性を考慮すると、SGD解間の線形分散に損失障壁がない可能性が示されている。 特に,ImageNetではResNet50が74%,CIFAR10ではResNet18が90%であった。
• 参考スコア（独自算出の注目度）: 42.167567335873954
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this paper we look into the conjecture of Entezari et al. (2021) which states that if the permutation invariance of neural networks is taken into account, then there is likely no loss barrier to the linear interpolation between SGD solutions. First, we observe that neuron alignment methods alone are insufficient to establish low-barrier linear connectivity between SGD solutions due to a phenomenon we call variance collapse: interpolated deep networks suffer a collapse in the variance of their activations, causing poor performance. Next, we propose REPAIR (REnormalizing Permuted Activations for Interpolation Repair) which mitigates variance collapse by rescaling the preactivations of such interpolated networks. We explore the interaction between our method and the choice of normalization layer, network width, and depth, and demonstrate that using REPAIR on top of neuron alignment methods leads to 60%-100% relative barrier reduction across a wide variety of architecture families and tasks. In particular, we report a 74% barrier reduction for ResNet50 on ImageNet and 90% barrier reduction for ResNet18 on CIFAR10.
• Abstract（参考訳）: 本稿では, ニューラルネットワークの置換不変性を考慮した場合, sgd 解間の線形補間に対する損失障壁が存在しないことを示唆する entezari et al. (2021) の予想を考察する。 まず、ニューロンアライメント法だけでは、分散崩壊と呼ばれる現象により、SGD溶液間の低バリアリニア接続を確立するには不十分であることが観察された。 次に、これらの補間ネットワークの事前動作を再スケーリングすることにより分散崩壊を緩和するREPAIR(Renormalizing Permuted Activations for Interpolation repair)を提案する。 本手法と正規化層,ネットワーク幅,深さの選択との相互作用について検討し,ニューロンアライメント法上でREPAIRを用いることで,多種多様なアーキテクチャファミリやタスクに対する相対障壁の60%-100%低減が達成できることを示す。 特に,imagenetではresnet50の74%,cifar10ではresnet18では90%のバリア低減が報告されている。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• On permutation symmetries in Bayesian neural network posteriors: a variational perspective [8.310462710943971]
  勾配降下の局所解には本質的に損失障壁がないことを示す。 これにより、ベイズニューラルネットワークにおける近似推論に関する疑問が提起される。 線形接続された解を探索するマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-16T08:26:50Z)
• Filter Pruning For CNN With Enhanced Linear Representation Redundancy [3.853146967741941]
  本稿では,CCM-loss という同一層内の異なる特徴写像の相関行列から計算したデータ駆動損失関数の項を示す。 CCM-lossは、L*-ノルム正規化以外に、別の普遍的超越数学的ツールを提供する。 新しい戦略では、主にネットワーク内の情報フローの整合性と整合性に注目します。
  論文  参考訳（メタデータ） (2023-10-10T06:27:30Z)
• Overcoming Distribution Mismatch in Quantizing Image Super-Resolution Networks [53.23803932357899]
  量子化は画像超解像(SR)ネットワークの精度を低下させる。 既存の作業は、テスト時間中に量子化範囲を動的に適応することで、この分散ミスマッチ問題に対処する。 本稿では,SRネットワークにおける分散ミスマッチ問題を効果的に克服する量子化対応学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-25T08:50:01Z)
• Differentially private training of residual networks with scale normalisation [64.60453677988517]
  残差ネットワーク(ResNets)におけるバッチ正規化(BN)置換層の最適選択について検討する。 残差ブロックにおけるスケールミキシング現象について検討し、2つの枝の活性化を異なるスケールで行う。
  論文  参考訳（メタデータ） (2022-03-01T09:56:55Z)
• Image Superresolution using Scale-Recurrent Dense Network [30.75380029218373]
  畳み込みニューラルネットワーク(CNN)の設計の最近の進歩は、画像超解像(SR)の性能を大幅に向上させた。 残差ブロック内の一連の密接な接続を含む単位上に構築されたスケールリカレントSRアーキテクチャを提案する(Residual Dense Blocks (RDBs))。 我々のスケールリカレント設計は、現在の最先端のアプローチに比べてパラメトリックに効率的でありながら、より高いスケール要因の競合性能を提供する。
  論文  参考訳（メタデータ） (2022-01-28T09:18:43Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• Pruning Neural Networks with Interpolative Decompositions [5.377278489623063]
  本稿では,ニューラルネットワークのプルーニングに対する原理的アプローチを導入し,その問題を低ランク行列近似として定式化する。 まず、プリミティブのセットを構築して、1つの完全に接続された畳み込み層をプルークする方法を実証する。 我々は,CIFAR-10上でVGG-16を用いて93.62$pm$0.36%の精度を実現し,FLOPSを51%削減した。
  論文  参考訳（メタデータ） (2021-07-30T20:13:49Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。