論文の概要: On Functional Dimension and Persistent Pseudodimension
- arxiv url: http://arxiv.org/abs/2410.17191v1
- Date: Tue, 22 Oct 2024 17:12:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-23 14:26:58.107786
- Title: On Functional Dimension and Persistent Pseudodimension
- Title（参考訳）: 機能次元と持続的擬似次元について
- Authors: J. Elisenda Grigsby, Kathryn Lindsey,
- Abstract要約: 本稿では,ReLUネットワーククラスに対する局所的に適用可能な2つの複雑性尺度と,それらの関係について知る。
前者は有限個の点のバッチで計算しやすく、後者はギャップに局所的な境界を与え、二重降下現象の力学の理解を知らせる。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: For any fixed feedforward ReLU neural network architecture, it is well-known that many different parameter settings can determine the same function. It is less well-known that the degree of this redundancy is inhomogeneous across parameter space. In this work, we discuss two locally applicable complexity measures for ReLU network classes and what we know about the relationship between them: (1) the local functional dimension [14, 18], and (2) a local version of VC dimension that we call persistent pseudodimension. The former is easy to compute on finite batches of points; the latter should give local bounds on the generalization gap, which would inform an understanding of the mechanics of the double descent phenomenon [7].
- Abstract（参考訳）: 固定フィードフォワードReLUニューラルネットワークアーキテクチャの場合、多くの異なるパラメータ設定が同じ関数を決定することはよく知られている。
この冗長性の度合いがパラメータ空間全体で不均一であることは、あまり知られていない。
本稿では,ReLUネットワーククラスに対して局所的に適用可能な2つの複雑性尺度とそれらの関係について,(1)局所関数次元[14,18],(2)永続擬似次元と呼ぶVC次元の局所バージョンについて述べる。
前者は有限個の点のバッチで計算しやすく、後者は一般化ギャップの局所的境界を与え、二重降下現象の力学 [7] を理解させる。
関連論文リスト
- Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。
我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。
局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
論文 参考訳（メタデータ） (2024-02-26T18:59:31Z) - Geometry-induced Implicit Regularization in Deep ReLU Neural Networks [0.0]
暗黙の正則化現象は、まだよく理解されていないが、最適化中に起こる。
パラメータの異なる出力集合の幾何について検討する。
バッチ関数次元は隠蔽層内の活性化パターンによってほぼ確実に決定されることを示す。
論文 参考訳（メタデータ） (2024-02-13T07:49:57Z) - Depth Separations in Neural Networks: Separating the Dimension from the Accuracy [9.783697404304027]
我々は、(実入力で)深度2と深度3ニューラルネットの指数的なサイズ分離を証明した。
対象関数が深度3ネットワークを用いて効率的に表現できる場合であっても,次元の呪いは深さ2の近似で現れることを示す。
論文 参考訳（メタデータ） (2024-02-11T17:27:26Z) - Functional dimension of feedforward ReLU neural networks [0.0]
関数次元はReLUニューラルネットワーク関数のパラメータ空間で不均一であることを示す。
また、パラメータ空間から関数空間への実化写像の商空間とファイバーについても検討する。
論文 参考訳（メタデータ） (2022-09-08T21:30:16Z) - Neural Set Function Extensions: Learning with Discrete Functions in High
Dimensions [63.21838830509772]
集合関数を低次元連続領域に拡張するためのフレームワークを開発する。
我々のフレームワークは、よく知られた拡張を特殊ケースとして仮定する。
我々は低次元ニューラルネットワークボトルネックを高次元空間における表現に変換する。
論文 参考訳（メタデータ） (2022-08-08T10:58:02Z) - Poly-NL: Linear Complexity Non-local Layers with Polynomials [76.21832434001759]
性能を損なわずに2次から線形に複雑性を低減できる新しい高速非局所ブロックを定式化する。
The proposed method, we dub that "Poly-NL" is competitive to state-of-the-art performance across image recognition, instance segmentation, and face detection task。
論文 参考訳（メタデータ） (2021-07-06T19:51:37Z) - A Local Similarity-Preserving Framework for Nonlinear Dimensionality
Reduction with Neural Networks [56.068488417457935]
本稿では,Vec2vecという新しい局所非線形手法を提案する。
ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。
8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
論文 参考訳（メタデータ） (2021-03-10T23:10:47Z) - A Functional Perspective on Learning Symmetric Functions with Neural
Networks [48.80300074254758]
本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。
正規化の異なる選択の下で近似と一般化境界を確立する。
得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
論文 参考訳（メタデータ） (2020-08-16T16:34:33Z) - Manifold Learning via Manifold Deflation [105.7418091051558]
次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。
多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。
本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。
実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
論文 参考訳（メタデータ） (2020-07-07T10:04:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。