Fugu-MT 論文翻訳(概要): Exact Spectral Norm Regularization for Neural Networks

論文の概要: Exact Spectral Norm Regularization for Neural Networks

arxiv url: http://arxiv.org/abs/2206.13581v1
Date: Mon, 27 Jun 2022 18:53:00 GMT
ステータス: 処理完了
システム内更新日: 2022-07-02 22:13:26.310002
Title: Exact Spectral Norm Regularization for Neural Networks
Title（参考訳）: ニューラルネットワークの特定スペクトルノルム規則化
Authors: Anton Johansson, Claes Stranneg{\aa}rd, Niklas Engsner, Petter Mostad
Abstract要約: 本稿では,従来のスペクトル正規化手法と比較して,一般化性能が向上することを示す。ヤコビアン正則化が提供する強い敵対的保護に関する以前の推論について検討する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We pursue a line of research that seeks to regularize the spectral norm of the Jacobian of the input-output mapping for deep neural networks. While previous work rely on upper bounding techniques, we provide a scheme that targets the exact spectral norm. We showcase that our algorithm achieves an improved generalization performance compared to previous spectral regularization techniques while simultaneously maintaining a strong safeguard against natural and adversarial noise. Moreover, we further explore some previous reasoning concerning the strong adversarial protection that Jacobian regularization provides and show that it can be misleading.
Abstract（参考訳）: 我々は、ディープニューラルネットワークの入出力マッピングにおけるヤコビアンのスペクトルノルムを規則化するための一連の研究を追求する。従来の研究は上界の手法に依存していたが、正確なスペクトルノルムを目標とするスキームを提供する。提案手法は,従来のスペクトル正規化手法に比べて一般化性能が向上し,同時に自然雑音や逆雑音に対する強い保護性が維持できることを示した。さらに、ヤコビアン正則化が提供する強い敵対的保護に関する以前の推論についても検討し、誤解を招く可能性があることを示す。

関連論文リスト

Provable Length Generalization in Sequence Prediction via Spectral Filtering [24.178290515574247]
非対称回帰は、学習者が利用できるよりも長い文脈長を持つベンチマーク予測器に対して後悔を測る。線形力学系に対する長さ一般化を確実に達成する勾配に基づく学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-11-01T21:11:40Z)
On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
論文参考訳（メタデータ） (2024-03-11T16:23:42Z)
Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
論文参考訳（メタデータ） (2023-12-28T17:50:56Z)
PAC-Bayesian Spectrally-Normalized Bounds for Adversarially Robust Generalization [25.272738030198862]
ディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。敵の攻撃に対する防衛アルゴリズムを確立するには敵の強固な一般化が不可欠だ本稿では、PAC-Bayesアプローチに基づくノルムに基づく摂動の複雑さに焦点を当てる。
論文参考訳（メタデータ） (2023-10-09T22:20:27Z)
Learning Expressive Priors for Generalization and Uncertainty Estimation in Neural Networks [77.89179552509887]
本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
論文参考訳（メタデータ） (2023-07-15T09:24:33Z)
Heavy-Tailed Regularization of Weight Matrices in Deep Neural Networks [8.30897399932868]
鍵となる発見は、ニューラルネットワークの一般化性能が、その重み行列のスペクトルにおける重みの程度と関連していることを示している。重み付き正則化と呼ばれる新しい正則化手法を導入し、正則化により重み付きスペクトルを明示的に促進する。重み付き正規化が一般化性能の点で従来の正規化技術より優れていることを実証的に示す。
論文参考訳（メタデータ） (2023-04-06T07:50:14Z)
Generalizing and Improving Jacobian and Hessian Regularization [1.926971915834451]
対象行列をゼロから効率的な行列ベクトル積を持つ任意の行列に拡張することで、これまでの取り組みを一般化する。提案されたパラダイムは、正方形ヤコビ行列とヘッセン行列に対称性や対角性を強制する新しい正規化項を構築することを可能にする。本稿では、Laczosに基づくスペクトルノルム最小化を導入し、この問題に対処する。
論文参考訳（メタデータ） (2022-12-01T07:01:59Z)
On the generalization of learning algorithms that do not converge [54.122745736433856]
ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
論文参考訳（メタデータ） (2022-08-16T21:22:34Z)
The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
論文参考訳（メタデータ） (2022-02-13T07:12:02Z)
CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文参考訳（メタデータ） (2020-09-28T09:49:38Z)
On the generalization of bayesian deep nets for multi-class classification [27.39403411896995]
我々は,Log-Sobolevの不等式の縮約性を利用して,ベイズ深度ネットの新たな一般化を提案する。これらの不等式を使用すると、一般化境界に損失次数ノルム項が加わり、これは直感的にはモデルの複雑性の代用である。
論文参考訳（メタデータ） (2020-02-23T09:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。