論文の概要: On Rademacher Complexity-based Generalization Bounds for Deep Learning

• arxiv url: http://arxiv.org/abs/2208.04284v5
• Date: Fri, 28 Feb 2025 17:24:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:39:26.380962
• Title: On Rademacher Complexity-based Generalization Bounds for Deep Learning
• Title（参考訳）: ディープラーニングのためのラデマッハ複雑度に基づく一般化境界について
• Authors: Lan V. Truong,
• Abstract要約: 我々は,Rademacherの複雑性に基づくフレームワークが,CNNに対して非空の一般化境界を確立することができることを示す。 重要な技術的進歩は、ベクトル空間間の高次元写像のための新しい縮約補題の定式化である。
• 参考スコア（独自算出の注目度）: 18.601449856300984
• License:
• Abstract: We show that the Rademacher complexity-based framework can establish non-vacuous generalization bounds for Convolutional Neural Networks (CNNs) in the context of classifying a small set of image classes. A key technical advancement is the formulation of novel contraction lemmas for high-dimensional mappings between vector spaces, specifically designed for general Lipschitz activation functions. These lemmas extend and refine the Talagrand contraction lemma across a broader range of scenarios. Our Rademacher complexity bound provides an enhancement over the results presented by Golowich et al. for ReLU-based Deep Neural Networks (DNNs). Moreover, while previous works utilizing Rademacher complexity have primarily focused on ReLU DNNs, our results generalize to a wider class of activation functions.
• Abstract（参考訳）: 我々は,Rademacherの複雑性に基づくフレームワークが,少数の画像クラスを分類する文脈において,畳み込みニューラルネットワーク(CNN)の空でない一般化境界を確立することができることを示す。 重要な技術的進歩は、ベクトル空間間の高次元写像、特に一般リプシッツ活性化関数のために設計された新しい縮約補題の定式化である。 これらの補題は、幅広いシナリオにわたって、タラグランドの縮約補題を拡張し、洗練する。 Rademacherの複雑性バウンダリは、ReLUベースのDeep Neural Networks(DNN)のために、Golowichらによる結果の強化を提供します。 さらに、Rademacher複雑性を利用したこれまでの研究は、主にReLU DNNに焦点を当ててきたが、我々の結果はより広範なアクティベーション関数のクラスに一般化されている。

関連論文リスト

• Improving the Expressive Power of Deep Neural Networks through Integral Activation Transform [12.36064367319084]
  従来の完全接続型ディープニューラルネットワーク(DNN)を連続幅の概念により一般化する。 IAT-ReLUは連続基底関数を用いる場合に連続的な活性化パターンを示す。 数値実験により,IAT-ReLUはトレーニング性やスムーズさの点で,通常のReLUよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-19T20:23:33Z)
• Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision [0.0]
  ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。 この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。 本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
  論文  参考訳（メタデータ） (2023-06-12T16:17:04Z)
• On Size-Independent Sample Complexity of ReLU Networks [9.15749739027059]
  一般化の観点からReLUニューラルネットワークを学習する際のサンプル複雑性について検討する。 関連する関数クラスのRademacher複雑性を推定する。
  論文  参考訳（メタデータ） (2023-06-03T03:41:33Z)
• Spherical Inducing Features for Orthogonally-Decoupled Gaussian Processes [7.4468224549568705]
  ガウス過程(GP)は、表現を学習する能力の欠如により、ディープニューラルネットワーク(NN)と比較されることがしばしばある。 GPとディープNNのギャップを埋める最近の試みは、新しいタイプのドメイン間変分GPを生み出し、誘導変数はフィードフォワードNNの隠れ単位に対応する。
  論文  参考訳（メタデータ） (2023-04-27T09:00:02Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization [48.26492774959634]
  線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。 我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
  論文  参考訳（メタデータ） (2022-11-24T13:50:16Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Neural Set Function Extensions: Learning with Discrete Functions in High Dimensions [63.21838830509772]
  集合関数を低次元連続領域に拡張するためのフレームワークを開発する。 我々のフレームワークは、よく知られた拡張を特殊ケースとして仮定する。 我々は低次元ニューラルネットワークボトルネックを高次元空間における表現に変換する。
  論文  参考訳（メタデータ） (2022-08-08T10:58:02Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。