論文の概要: A Class of Random-Kernel Network Models
- arxiv url: http://arxiv.org/abs/2509.01090v1
- Date: Mon, 01 Sep 2025 03:26:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.536984
- Title: A Class of Random-Kernel Network Models
- Title(参考訳): ランダムカーネルネットワークモデルの一クラス
- Authors: James Tian,
- Abstract要約: より深い構成は、どんな浅いものよりもモンテカルロサンプルが少ない特定の関数を近似する。
より深い構造は、どんな浅いものよりもモンテカルロのサンプルが少ない特定の関数を近似することができることを証明している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce random-kernel networks, a multilayer extension of random feature models where depth is created by deterministic kernel composition and randomness enters only in the outermost layer. We prove that deeper constructions can approximate certain functions with fewer Monte Carlo samples than any shallow counterpart, establishing a depth separation theorem in sample complexity.
- Abstract(参考訳): 決定論的カーネル合成によって深さが生成され、ランダム性が最外層にのみ入ってくるランダム特徴モデルの多層拡張であるランダムカーネルネットワークを導入する。
より深い構成では、モンテカルロのサンプルが浅いものよりも少ないような関数を近似することができ、サンプル複雑性において深さ分離定理を確立することができる。
関連論文リスト
- Fundamental limits of learning in sequence multi-index models and deep attention networks: High-dimensional asymptotics and sharp thresholds [27.57989152496108]
重み付きおよび低ランクの重み付き多層自己注意層の構成として定義されるディープアテンションニューラルネットワークの学習について検討する。
私たちの分析では、特に異なるレイヤが逐次的に学習される方法が明らかになりました。
論文 参考訳(メタデータ) (2025-02-02T20:27:11Z) - Deep Generative Quantile Bayes [0.0]
深部生成量学習による後部サンプリング法を開発した。
多変量体におけるモンゲ・カントロビッチ深度を利用して、ベイズ集合から直接サンプリングする。
確率の欠如が古典的MCMCの実現を不可能とするいくつかの事例に対して,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2024-10-10T21:25:15Z) - Spectral complexity of deep neural networks [2.099922236065961]
我々は,ネットワークアーキテクチャの複雑さを特徴付けるために,制限場の角パワースペクトルを用いる。
そこで我々は,ニューラルネットワークを低次,スパース,高次と分類する。
本稿では,この分類が標準アクティベーション関数の様々な特徴,特にReLUネットワークの空間特性を如何に強調するかを示す。
論文 参考訳(メタデータ) (2024-05-15T17:55:05Z) - Improving Gradient-guided Nested Sampling for Posterior Inference [47.08481529384556]
本稿では,パフォーマンス,汎用的勾配誘導型ネストサンプリングアルゴリズム,$tt GGNS$を提案する。
後部分布から大量の高品質なサンプルを得るために,ネストサンプリングと生成フローネットワークを組み合わせる可能性を示す。
論文 参考訳(メタデータ) (2023-12-06T21:09:18Z) - Simplex Random Features [53.97976744884616]
ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。
我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。
ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
論文 参考訳(メタデータ) (2023-01-31T18:53:39Z) - Layer Ensembles [95.42181254494287]
本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。
その結果,メモリと実行時間が少なくなるモデルが得られた。
論文 参考訳(メタデータ) (2022-10-10T17:52:47Z) - Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。
まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
論文 参考訳(メタデータ) (2022-10-07T15:59:13Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳(メタデータ) (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。