論文の概要: Representation Costs in Data Science: Foundations and the Quasi-Banach Spaces of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2606.14954v2
• Date: Tue, 16 Jun 2026 15:18:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 15:01:46.721449
• Title: Representation Costs in Data Science: Foundations and the Quasi-Banach Spaces of Deep Neural Networks
• Title（参考訳）: データサイエンスにおける表現コスト:ディープニューラルネットワークの基礎と準バナッハ空間
• Authors: Greg Ongie, Rahul Parhi,
• Abstract要約: 任意のパラメトリックモデルに対する表現コストを定義し、誘導(ネイティブ)関数空間を明らかにする。 この抽象的な設定に多くの自然結果が成り立つことを証明し、自然空間上のパラメトリックな方法の表現定理を含む。 表現コストの研究の「アキソメタイズ」の副産物は、ディープニューラルネットワークの新しい結果もすぐに得られることである。
• 参考スコア（独自算出の注目度）: 7.584328697633512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a general framework for analyzing representation costs of parametric data-fitting methods through their parameter-space regularizers. From this abstract perspective, we define representation costs for arbitrary parametric models and reveal their induced (native) function spaces. This unifies recent function-space views of data-fitting methods. We also prove that many natural results hold in this abstract setting, including representer theorems for parametric methods on their native spaces. The framework also rigorously connects parametric methods with their equivalent nonparametric descriptions under sufficient overparameterization. Classical methods and their native spaces, such as kernel methods / reproducing kernel Hilbert spaces, wavelets / Besov spaces, and shallow neural networks / variation spaces emerge as special cases of our abstract framework. A byproduct of "axiomatizing" the study of representation costs is that we also immediately obtain new results for deep neural networks: For depth-$L$ feedforward ReLU networks, their induced native spaces are $p$-normable quasi-Banach spaces with $p = 2/L$. This reveals that the inductive bias of deep neural networks (as given by the representation cost) cannot be captured by norms for depths $L > 2$.
• Abstract（参考訳）: パラメータ空間正規化器を用いてパラメトリックデータ適合手法の表現コストを解析するための汎用フレームワークを開発した。 この抽象的な観点から、任意のパラメトリックモデルの表現コストを定義し、それらの誘導(ネイティブ)関数空間を明らかにする。 これは、最近のデータ適合メソッドの関数空間ビューを統一する。 また、これらの自然空間上のパラメトリックな方法の表現定理を含む多くの自然結果が、この抽象的な設定で成り立つことを証明している。 このフレームワークは、十分な過度パラメータ化の下で、パラメトリックメソッドと同等の非パラメトリック記述とを厳格に結合する。 カーネルメソッド/再生カーネルヒルベルト空間、ウェーブレット/ベソフ空間、浅いニューラルネットワーク/変動空間などの古典的手法とそれらのネイティブ空間は、我々の抽象フレームワークの特別なケースとして現れます。 表現コストの研究の副産物は、ディープニューラルネットワークの新しい結果も直ちに得られることである: Deep-L$ feedforward ReLU ネットワークの場合、誘導されたネイティブ空間は$p$-normable quasi-Banach 空間で$p = 2/L$である。 これは、ディープニューラルネットワークの帰納バイアス(表現コストによって与えられる)が、深さ$L > 2$のノルムによって捕捉できないことを示している。

関連論文リスト

• Reflected diffusion models adapt to low-dimensional data [1.4273866043218157]
  本稿では、超キューブ$[0,1]D$が$d$次元線型部分空間上でサポートされている場合の反射拡散モデルの統計的解析を行う。 簡単に実装可能な遷移密度の無限級数展開を利用することで、スコア関数とその近似をスパースReLUネットワークで束縛する解析ツールを開発する。
  論文  参考訳（メタデータ） (2026-03-25T16:37:33Z)
• Constructive Universal Approximation and Finite Sample Memorization by Narrow Deep ReLU Networks [0.0]
  我々は$N$の異なる点を持つデータセットが$mathbbRd$と$M$の出力クラスを正確に分類できることを示した。 また、任意の有界領域に対して$Lp(Omega; mathbbRm)$の普遍近似定理も証明する。 我々の結果は、深層ニューラルネットワークにおける制御性、表現性、およびトレーニングのダイナミクスを接続する統一的で解釈可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Universal approximation property of Banach space-valued random feature models including random neural networks [3.3379026542599934]
  ランダムな特徴学習におけるバナッハ空間値の拡張を提案する。 特徴マップをランダムに初期化することにより、線形読み出しのみをトレーニングする必要がある。 我々は、与えられたバナッハ空間の要素を学ぶための近似率と明示的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-12-13T11:27:15Z)
• Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
  深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:31:22Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Besov Function Approximation and Binary Classification on Low-Dimensional Manifolds Using Convolutional Residual Networks [42.43493635899849]
  畳み込み残余ネットワーク(ConvResNet)の理論的保証を関数近似および二項分類の統計的推定の観点から確立する。 その結果,ConvResNetsはデータセットの低次元構造に適応していることがわかった。
  論文  参考訳（メタデータ） (2021-09-07T02:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。