論文の概要: Transformed Low-Rank Parameterization Can Help Robust Generalization for Tensor Neural Networks

• arxiv url: http://arxiv.org/abs/2303.00196v1
• Date: Wed, 1 Mar 2023 03:05:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 16:10:14.735566
• Title: Transformed Low-Rank Parameterization Can Help Robust Generalization for Tensor Neural Networks
• Title（参考訳）: テンソルニューラルネットワークのロバスト一般化を支援する変換低ランクパラメータ化
• Authors: Andong Wang, Chao Li, Mingyuan Bai, Zhong Jin, Guoxu Zhou, Qibin Zhao
• Abstract要約: Tenor Singular Value Decomposition (t-SVD)はマルチチャネルデータ表現において大きな成功を収めた。 t-SVDがt-NNの学習行動に理論的にどう影響するかはまだ不明である。 本論文は、標準および逆向きに訓練されたt-NNの一般化誤差の上限を導出することにより、この問題に最初に答えるものである。
• 参考スコア（独自算出の注目度）: 35.031637009792355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Achieving efficient and robust multi-channel data learning is a challenging task in data science. By exploiting low-rankness in the transformed domain, i.e., transformed low-rankness, tensor Singular Value Decomposition (t-SVD) has achieved extensive success in multi-channel data representation and has recently been extended to function representation such as Neural Networks with t-product layers (t-NNs). However, it still remains unclear how t-SVD theoretically affects the learning behavior of t-NNs. This paper is the first to answer this question by deriving the upper bounds of the generalization error of both standard and adversarially trained t-NNs. It reveals that the t-NNs compressed by exact transformed low-rank parameterization can achieve a sharper adversarial generalization bound. In practice, although t-NNs rarely have exactly transformed low-rank weights, our analysis further shows that by adversarial training with gradient flow (GF), the over-parameterized t-NNs with ReLU activations are trained with implicit regularization towards transformed low-rank parameterization under certain conditions. We also establish adversarial generalization bounds for t-NNs with approximately transformed low-rank weights. Our analysis indicates that the transformed low-rank parameterization can promisingly enhance robust generalization for t-NNs.
• Abstract（参考訳）: 効率的で堅牢なマルチチャネルデータ学習を実現することは、データサイエンスにおける課題である。 変換領域の低ランク性、すなわち変換低ランク性を活用することで、テンソル特異値分解(t-svd)はマルチチャネルデータ表現において大きな成功を収め、最近ではt-product layer(t-nns)を持つニューラルネットワークなどの関数表現にも拡張されている。 しかし、t-SVDがt-NNの学習行動に理論的にどのような影響を及ぼすかはまだ不明である。 本稿では,標準および逆向きに訓練されたt-NNの一般化誤差の上限を導出することにより,この問題に最初に答える。 完全変換された低ランクパラメータ化によって圧縮されたt-nnはより鋭い逆一般化を実現できる。 実際には、t-NNは正確に低ランクの重みを変換することはめったにないが、我々の分析は、勾配流(GF)を用いた対角訓練により、ReLUアクティベートによる過パラメータ化t-NNは、特定の条件下で変換された低ランクのパラメータ化に向けて暗黙の正規化で訓練されることを示している。 また,t-nnの逆一般化境界を概して低位重みを変換する。 分析の結果,変換された低ランクパラメータ化は,t-NNのロバストな一般化を促進することが示唆された。

関連論文リスト

• An Efficient Approach to Regression Problems with Tensor Neural Networks [5.345144592056051]
  本稿では、非パラメトリック回帰問題に対処するテンソルニューラルネットワーク(TNN)を提案する。 TNNは従来のFeed-Forward Networks (FFN) や Radial Basis Function Networks (RBN) よりも優れた性能を示している。 このアプローチにおける重要な革新は、統計回帰とTNNフレームワーク内の数値積分の統合である。
  論文  参考訳（メタデータ） (2024-06-14T03:38:40Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Converting Artificial Neural Networks to Spiking Neural Networks via Parameter Calibration [21.117214351356765]
  スパイキングニューラルネットワーク(SNN)は、次世代ニューラルネットワークの1つとして認識されている。 本研究では、ANNの重みをSNNにコピー&ペーストするだけで、必然的にアクティベーションミスマッチが発生することを論じる。 そこで本研究では,アクティベーションミスマッチを最小限に抑えるため,パラメータの調整を行う層ワイドパラメータキャリブレーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T18:22:09Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
  敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。 グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。 我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-10-28T02:28:13Z)
• Block-term Tensor Neural Networks [29.442026567710435]
  ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。 CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
  論文  参考訳（メタデータ） (2020-10-10T09:58:43Z)
• Understanding Why Neural Networks Generalize Well Through GSNR of Parameters [11.208337921488207]
  ディープニューラルネットワーク(DNN)の訓練過程におけるパラメータの勾配信号と雑音比(GSNR)について検討する。 トレーニング中にGSNRが大きくなると、より一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-01-21T08:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。