論文の概要: Robust low-rank training via approximate orthonormal constraints

• arxiv url: http://arxiv.org/abs/2306.01485v1
• Date: Fri, 2 Jun 2023 12:22:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 15:17:09.246413
• Title: Robust low-rank training via approximate orthonormal constraints
• Title（参考訳）: 近似正則制約によるロバスト低ランクトレーニング
• Authors: Dayana Savostianova, Emanuele Zangrando, Gianluca Ceruti, Francesco Tudisco
• Abstract要約: 低ランク行列多様体上でネットワークの重みを維持する頑健な低ランク学習アルゴリズムを導入する。 その結果, モデル精度を損なうことなく, トレーニングコストと推論コストを低減し, 良好な条件設定を実現し, 対向ロバスト性を向上する。
• 参考スコア（独自算出の注目度）: 2.519906683279153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growth of model and data sizes, a broad effort has been made to design pruning techniques that reduce the resource demand of deep learning pipelines, while retaining model performance. In order to reduce both inference and training costs, a prominent line of work uses low-rank matrix factorizations to represent the network weights. Although able to retain accuracy, we observe that low-rank methods tend to compromise model robustness against adversarial perturbations. By modeling robustness in terms of the condition number of the neural network, we argue that this loss of robustness is due to the exploding singular values of the low-rank weight matrices. Thus, we introduce a robust low-rank training algorithm that maintains the network's weights on the low-rank matrix manifold while simultaneously enforcing approximate orthonormal constraints. The resulting model reduces both training and inference costs while ensuring well-conditioning and thus better adversarial robustness, without compromising model accuracy. This is shown by extensive numerical evidence and by our main approximation theorem that shows the computed robust low-rank network well-approximates the ideal full model, provided a highly performing low-rank sub-network exists.
• Abstract（参考訳）: モデルとデータサイズの増加に伴い、モデルパフォーマンスを維持しながら、ディープラーニングパイプラインのリソース需要を削減できるプルーニング技術を設計するための幅広い取り組みが実施されている。 推論とトレーニングの両方のコストを削減するために、顕著な作業はネットワークの重みを表すために低ランク行列分解を使用する。 精度は保たれるが,低ランク法では逆摂動に対するモデルのロバスト性が損なわれる傾向が観察された。 ニューラルネットワークの条件数の観点からロバストネスをモデル化することにより、このロバストネスの損失は、低ランク重み行列の爆発的な特異値に起因すると論じる。 そこで本研究では,ネットワークの重みを低ランク行列多様体上に維持するロバストな低ランクトレーニングアルゴリズムを提案する。 その結果, モデル精度を損なうことなく, トレーニングコストと推論コストを低減し, 良好な条件設定を実現し, 対向ロバスト性を向上する。 これは広範な数値的な証拠と、計算された頑健な低ランクネットワークを理想のフルモデルとして適用したことを示す主近似定理によって示される。

関連論文リスト

• Soft Merging: A Flexible and Robust Soft Model Merging Approach for Enhanced Neural Network Performance [6.599368083393398]
  グラディエント(SGD)はしばしばモデル性能を改善するために局所最適化を収束させることに制限される。 エム・ソフト・マージング法は、望ましくない結果で得られた局所最適モデルを最小化する。 実験は、統合されたネットワークの有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-09-21T17:07:31Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Compression-aware Training of Neural Networks using Frank-Wolfe [27.69586583737247]
  本稿では,フィルタプルーニングと低ランク行列分解に対するロバスト性を誘導しながら,高い性能のソリューションへの収束を促すフレームワークを提案する。 提案手法は,従来の圧縮対応手法よりも優れており,低ランク行列分解の場合,核ノルム正規化に基づく手法よりも計算資源が大幅に少ない。
  論文  参考訳（メタデータ） (2022-05-24T09:29:02Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Revisit Geophysical Imaging in A New View of Physics-informed Generative Adversarial Learning [2.12121796606941]
  完全な波形反転は高分解能地下モデルを生成する。 最小二乗関数を持つFWIは、局所ミニマ問題のような多くの欠点に悩まされる。 偏微分方程式とニューラルネットワークを用いた最近の研究は、2次元FWIに対して有望な性能を示している。 本稿では,波動方程式を識別ネットワークに統合し,物理的に一貫したモデルを正確に推定する,教師なし学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-09-23T15:54:40Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Achieving Adversarial Robustness via Sparsity [33.11581532788394]
  ネットワーク重みの空間性はモデルロバスト性と密接に関連していることを示す。 本稿では,逆重み継承という新たな逆トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-09-11T13:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。