Fugu-MT 論文翻訳(概要): On Rademacher Complexity-based Generalization Bounds for Deep Learning

論文の概要: On Rademacher Complexity-based Generalization Bounds for Deep Learning

arxiv url: http://arxiv.org/abs/2208.04284v2
Date: Fri, 9 Feb 2024 10:21:12 GMT
ステータス: 処理完了
システム内更新日: 2024-02-12 21:31:16.264213
Title: On Rademacher Complexity-based Generalization Bounds for Deep Learning
Title（参考訳）: ラデマッハ複雑性に基づく深層学習のための一般化境界について
Authors: Lan V. Truong
Abstract要約: Rademacherの複雑性に基づくアプローチは、畳み込みニューラルネットワーク(CNN)上の非空の一般化バウンダリを生成することができることを示す。以上の結果から,ReLU,Leaky ReLU,Parametric Rectifier Linear Unit,Sigmoid,Tanhなどの特別なアクティベーション機能を持つCNNのネットワーク長に依存しないことがわかった。
参考スコア（独自算出の注目度）: 18.601449856300984
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We show that the Rademacher complexity-based approach can generate non-vacuous generalisation bounds on Convolutional Neural Networks (CNNs) for classifying a small number of classes of images. The development of new Talagrand's contraction lemmas for high-dimensional mappings between function spaces and CNNs for general Lipschitz activation functions is a key technical contribution. Our results show that the Rademacher complexity does not depend on the network length for CNNs with some special types of activation functions such as ReLU, Leaky ReLU, Parametric Rectifier Linear Unit, Sigmoid, and Tanh.
Abstract（参考訳）: Rademacherの複雑性に基づくアプローチは、少数の画像のクラスを分類するために、畳み込みニューラルネットワーク(CNN)上の非空の一般化バウンダリを生成することができる。一般リプシッツ活性化関数に対する関数空間とCNNの間の高次元写像のための新しいタラグランド縮約補題の開発は重要な技術的貢献である。以上の結果から,ラデマッハ複雑性は,relu, leaky relu,parametric rectifier linear unit,sgmoid,tanhなどの特殊タイプのアクティベーション関数を持つcnnのネットワーク長に依存しないことがわかった。

関連論文リスト

Improving the Expressive Power of Deep Neural Networks through Integral Activation Transform [12.36064367319084]
従来の完全接続型ディープニューラルネットワーク(DNN)を連続幅の概念により一般化する。 IAT-ReLUは連続基底関数を用いる場合に連続的な活性化パターンを示す。数値実験により,IAT-ReLUはトレーニング性やスムーズさの点で,通常のReLUよりも優れていることが示された。
論文参考訳（メタデータ） (2023-12-19T20:23:33Z)
Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision [0.0]
ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
論文参考訳（メタデータ） (2023-06-12T16:17:04Z)
On Size-Independent Sample Complexity of ReLU Networks [9.15749739027059]
一般化の観点からReLUニューラルネットワークを学習する際のサンプル複雑性について検討する。関連する関数クラスのRademacher複雑性を推定する。
論文参考訳（メタデータ） (2023-06-03T03:41:33Z)
Spherical Inducing Features for Orthogonally-Decoupled Gaussian Processes [7.4468224549568705]
ガウス過程(GP)は、表現を学習する能力の欠如により、ディープニューラルネットワーク(NN)と比較されることがしばしばある。 GPとディープNNのギャップを埋める最近の試みは、新しいタイプのドメイン間変分GPを生み出し、誘導変数はフィードフォワードNNの隠れ単位に対応する。
論文参考訳（メタデータ） (2023-04-27T09:00:02Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization [48.26492774959634]
線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
論文参考訳（メタデータ） (2022-11-24T13:50:16Z)
A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文参考訳（メタデータ） (2022-11-22T16:30:33Z)
Neural Set Function Extensions: Learning with Discrete Functions in High Dimensions [63.21838830509772]
集合関数を低次元連続領域に拡張するためのフレームワークを開発する。我々のフレームワークは、よく知られた拡張を特殊ケースとして仮定する。我々は低次元ニューラルネットワークボトルネックを高次元空間における表現に変換する。
論文参考訳（メタデータ） (2022-08-08T10:58:02Z)
Orthogonal Graph Neural Networks [53.466187667936026]
グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
論文参考訳（メタデータ） (2021-09-23T12:39:01Z)
On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
論文参考訳（メタデータ） (2020-07-04T23:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。