Fugu-MT 論文翻訳(概要): Enhancing Mixup-based Semi-Supervised Learning with Explicit Lipschitz Regularization

論文の概要: Enhancing Mixup-based Semi-Supervised Learning with Explicit Lipschitz Regularization

arxiv url: http://arxiv.org/abs/2009.11416v1
Date: Wed, 23 Sep 2020 23:19:19 GMT
ステータス: 処理完了
システム内更新日: 2022-10-15 15:45:22.098978
Title: Enhancing Mixup-based Semi-Supervised Learning with Explicit Lipschitz Regularization
Title（参考訳）: リプシッツ正則化によるミックスアップ型半教師付き学習の強化
Authors: Prashnna Kumar Gyawali, Sandesh Ghimire, Linwei Wang
Abstract要約: 半教師付き学習(SSL)は、大きなラベルのないデータ上での神経機能の振る舞いを活用することで、この課題を緩和する。成功例は、ニューラルネットワークのグローバルなスムーズさを強制する、SSLでのミックスアップ戦略の採用である。ニューラルネットワークの勾配関数のリプシッツ定数をバウンドすることで、ミキサップは神経機能の滑らかさを改善する。
参考スコア（独自算出の注目度）: 5.848916882288327
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: The success of deep learning relies on the availability of large-scale annotated data sets, the acquisition of which can be costly, requiring expert domain knowledge. Semi-supervised learning (SSL) mitigates this challenge by exploiting the behavior of the neural function on large unlabeled data. The smoothness of the neural function is a commonly used assumption exploited in SSL. A successful example is the adoption of mixup strategy in SSL that enforces the global smoothness of the neural function by encouraging it to behave linearly when interpolating between training examples. Despite its empirical success, however, the theoretical underpinning of how mixup regularizes the neural function has not been fully understood. In this paper, we offer a theoretically substantiated proposition that mixup improves the smoothness of the neural function by bounding the Lipschitz constant of the gradient function of the neural networks. We then propose that this can be strengthened by simultaneously constraining the Lipschitz constant of the neural function itself through adversarial Lipschitz regularization, encouraging the neural function to behave linearly while also constraining the slope of this linear function. On three benchmark data sets and one real-world biomedical data set, we demonstrate that this combined regularization results in improved generalization performance of SSL when learning from a small amount of labeled data. We further demonstrate the robustness of the presented method against single-step adversarial attacks. Our code is available at https://github.com/Prasanna1991/Mixup-LR.
Abstract（参考訳）: ディープラーニングの成功は、大規模な注釈付きデータセットの可用性に依存している。半教師付き学習(SSL)は、大きなラベルのないデータ上での神経機能の振る舞いを活用することで、この課題を緩和する。神経機能の滑らかさはSSLで利用される一般的な仮定である。成功例はSSLにおけるミックスアップ戦略の採用であり、トレーニング例間の補間時に線形に振る舞うことを奨励することで、神経機能のグローバルなスムーズさを強制する。しかし、その経験的成功にもかかわらず、ミックスアップが神経機能をどのように正規化するかという理論的根拠は理解されていない。本稿では,ニューラルネットワークの勾配関数のリプシッツ定数をバウンドすることで,ニューラル関数の滑らか性を改善するという理論的な仮定を提案する。そこで我々は, ニューラル関数自体のリプシッツ定数を逆リプシッツ正則化により同時に拘束することで, 線形関数の傾きを拘束しながら, 線形関数を線形に振る舞うことを奨励することで, これを強化できることを示す。 3つのベンチマークデータセットと1つの実世界のバイオメディカルデータセットにおいて、この組み合わせによって少量のラベル付きデータから学習すると、SSLの一般化性能が向上することを示した。さらに, 単段階攻撃に対する提案手法の堅牢性を示す。私たちのコードはhttps://github.com/Prasanna 1991/Mixup-LRで公開されています。

関連論文リスト

Characterizing out-of-distribution generalization of neural networks: application to the disordered Su-Schrieffer-Heeger model [38.79241114146971]
本稿では、量子位相の分類を訓練したニューラルネットワークの予測において、解釈可能性の手法が信頼を高める方法を示す。特に, 複雑な分類問題において, 分配外分布の一般化を確実にできることを示す。この研究は,解釈可能性手法の体系的利用が,科学的問題におけるNNの性能をいかに向上させるかを示す一例である。
論文参考訳（メタデータ） (2024-06-14T13:24:32Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文参考訳（メタデータ） (2023-05-25T15:32:21Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Learning Lipschitz Functions by GD-trained Shallow Overparameterized ReLU Neural Networks [12.018422134251384]
このクラスでは、トレーニングエラーのほとんどゼロにトレーニングされたニューラルネットワークが矛盾していることが示される。 ReLUアクティベーション関数によって誘導されるカーネルのヒルベルト空間上で、何らかの早期停止規則が最適率(過剰リスク)を与えることが保証されたとき、同じ規則を極大最適率を達成するために使うことができることを示す。
論文参考訳（メタデータ） (2022-12-28T14:56:27Z)
Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文参考訳（メタデータ） (2021-11-02T06:44:10Z)
CLIP: Cheap Lipschitz Training of Neural Networks [0.0]
ニューラルネットワークのLipschitz定数を制御するためのCLIPという変分正規化手法を検討する。提案モデルを数学的に解析し,特にネットワークの出力に対する選択正規化パラメータの影響について考察した。
論文参考訳（メタデータ） (2021-03-23T13:29:24Z)
On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
論文参考訳（メタデータ） (2020-06-15T13:23:34Z)
Semi-supervised Medical Image Classification with Global Latent Mixing [8.330337646455957]
ディープラーニングによるコンピュータ支援診断は、大規模な注釈付きデータセットに依存している。半教師付き学習は、ラベルのないデータを活用することでこの課題を軽減する。ラベル付きおよびラベルなしデータの線形混合に基づいてニューラルネットワークをトレーニングする新しいSSL手法を提案する。
論文参考訳（メタデータ） (2020-05-22T14:49:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。