Fugu-MT 論文翻訳(概要): A Generalization Bound for Nearly-Linear Networks

論文の概要: A Generalization Bound for Nearly-Linear Networks

arxiv url: http://arxiv.org/abs/2407.06765v1
Date: Tue, 9 Jul 2024 11:20:01 GMT
ステータス: 処理完了
システム内更新日: 2024-07-10 18:17:01.383607
Title: A Generalization Bound for Nearly-Linear Networks
Title（参考訳）: 近距離ネットワークの一般化境界
Authors: Eugene Golikov,
Abstract要約: 線形に近いネットワークでは空でない新しい一般化境界を提案する。我々の知る限りでは、これらはこの性質を持つニューラルネットに対する最初の非空一般化境界である。
参考スコア（独自算出の注目度）: 4.07926531936425
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider nonlinear networks as perturbations of linear ones. Based on this approach, we present novel generalization bounds that become non-vacuous for networks that are close to being linear. The main advantage over the previous works which propose non-vacuous generalization bounds is that our bounds are a-priori: performing the actual training is not required for evaluating the bounds. To the best of our knowledge, they are the first non-vacuous generalization bounds for neural nets possessing this property.
Abstract（参考訳）: 非線形ネットワークを線形ネットワークの摂動とみなす。このアプローチに基づき、線形に近いネットワークでは空でない新しい一般化境界を提案する。非空の一般化境界を提案する以前の研究に対する大きな利点は、我々の境界がア・プリオリであることである。我々の知る限りでは、これらはこの性質を持つニューラルネットに対する最初の非空一般化境界である。

関連論文リスト

Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証において最も効果的な手法の一つである。我々は、一般的な非線形性にBaBを実行し、一般的なアーキテクチャでNNを検証する汎用フレームワークGenBaBを開発した。我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つNNを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
論文参考訳（メタデータ） (2024-05-31T17:51:07Z)
Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks [7.349727826230864]
ディープニューラルネットワークのような非線形推定器を使うことで、性能の向上が達成できることが示されている。本稿では,標準中間表現の観点から,FCNNモデルの正規化によるオーバーフィット制御を行う。本シミュレーションは,既存の線形および非線形アルゴリズムと比較して,提案アルゴリズムの優位性を示す。
論文参考訳（メタデータ） (2024-03-15T12:00:37Z)
Learning Expressive Priors for Generalization and Uncertainty Estimation in Neural Networks [77.89179552509887]
本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
論文参考訳（メタデータ） (2023-07-15T09:24:33Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文参考訳（メタデータ） (2022-11-02T16:39:42Z)
Non-Vacuous Generalisation Bounds for Shallow Neural Networks [5.799808780731661]
我々は、単一の隠蔽層を持つ特定の種類の浅いニューラルネットワークに焦点を当てる。我々はPAC-ベイジアン理論を通じて新しい一般化を導出する。ネットワークがMNISTとFashion-MNISTのバニラ勾配勾配降下で訓練される場合,我々の限界は経験的に非空洞である。
論文参考訳（メタデータ） (2022-02-03T14:59:51Z)
Lower Bounds on the Generalization Error of Nonlinear Learning Models [2.1030878979833467]
本稿では,多層ニューラルネットワークから導出したモデルの一般化誤差に対する下限について,学習データ中のサンプル数と層の大きさが一致した状況下で検討する。偏りのない推定器は,このような非線形ネットワークでは受け入れられない性能を示す。線形回帰や2層ネットワークの場合、一般偏差推定器の明示的な一般化の下界を導出する。
論文参考訳（メタデータ） (2021-03-26T20:37:54Z)
On the linearity of large non-linear models: when and why the tangent kernel is constant [20.44438519046223]
我々は、その幅が無限に近づくにつれて、あるニューラルネットワークの線形性への移行という驚くべき現象に光を当てた。モデルの線形性への遷移と等価に、ネットワークのヘッセン行列のノルムのスケーリング特性から、(神経)接核(NTK)の定数が生じることを示す。
論文参考訳（メタデータ） (2020-10-02T16:44:45Z)
Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
論文参考訳（メタデータ） (2020-05-18T06:04:58Z)
Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
論文参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。