論文の概要: Sharp Approximation Rates for Neural Networks with Affine Latent Parameterizations
- arxiv url: http://arxiv.org/abs/2608.31157v1
- Date: Mon, 31 Aug 2026 17:55:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.552413
- Title: Sharp Approximation Rates for Neural Networks with Affine Latent Parameterizations
- Title（参考訳）: アフィン潜在パラメータを用いたニューラルネットワークのシャープ近似速度
- Abstract要約: 我々は、潜伏次元$M$とネットワーク予算$P$のトレードオフを研究する。
我々は、$[0,1]d$上の$$-Hlder関数の単位球に対する最適な最悪の一様近似誤差が、$0leq1$のシャープオーダー$ bigl(PminM,Pbigr)-/dであることを証明する。
- 参考スコア（独自算出の注目度）: 6.851715331085056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many parameter-efficient methods generate the parameters of a large neural network from a low-dimensional latent representation. Given an architecture $Φ$ with $P_Φ$ parameter slots, we write $\boldsymbolθ_f=\mathcal{G}(\boldsymbolξ_f)$, where $\mathcal{G}\colon\mathbb{R}^M\to\mathbb{R}^{P_Φ}$ is a parameter generator and $\boldsymbolξ_f\in\mathbb{R}^M$ is a latent representation of the target function $f$. The architecture $Φ$ and the generator $\mathcal{G}$ are shared across the entire target class, while each target $f$ is represented by its own latent vector $\boldsymbolξ_f$, with $Φ_{\mathcal{G}(\boldsymbolξ_f)}$ approximating $f$. This framework encompasses hypernetworks, low-dimensional parameterizations, parameter-efficient adaptation, and model compression. Understanding the tradeoff between the latent dimension $M$ and the network budget $P$ is therefore fundamental to characterizing the expressive efficiency of these methods. We study this tradeoff for affine generators and fully connected ReLU architectures. More precisely, optimizing jointly over architectures $Φ$ satisfying $P_Φ\leq P$ and affine generators $\mathcal{G}:\mathbb{R}^M\to \mathbb{R}^{P_Φ}$, we prove that the optimal worst-case uniform approximation error over the unit ball of $α$-Hölder functions on $[0,1]^d$, where $0<α\leq1$, has the sharp order $ \bigl(P\min\{M,P\}\bigr)^{-α/d}. $ In particular, our result shows that even a fixed-dimensional latent space suffices to achieve vanishing approximation error as the network budget increases.
- Abstract（参考訳）: パラメータ効率のよい多くの手法は、低次元の潜在表現から大きなニューラルネットワークのパラメータを生成する。
ここで、$\mathcal{G}\colon\mathbb{R}^M\to\mathbb{R}^{P_a}$はパラメータジェネレータであり、$\boldsymbol}_f\in\mathbb{R}^M$はターゲット関数$f$の潜在表現である。
アーキテクチャ $\mathcal{G}$ とジェネレータ $\mathcal{G}$ はターゲットクラス全体にわたって共有され、それぞれのターゲット $f$ は、その潜在ベクトル $\boldsymbol _f$ で表現され、$ _{\mathcal{G}(\boldsymbol _f)}$ は $f$ を近似する。
このフレームワークはハイパーネット、低次元パラメータ化、パラメータ効率適応、モデル圧縮を含む。
したがって、遅延次元$M$とネットワーク予算$P$の間のトレードオフを理解することは、これらの手法の表現効率を特徴づけるのに不可欠である。
本研究では,アフィン発生器とReLUアーキテクチャとのトレードオフについて検討する。
より正確には、アーキテクチャ上の共同最適化は、$P_\leq P$ と affinegenerators $\mathcal{G}:\mathbb{R}^M\to \mathbb{R}^{P_\}$ で、$[0,1]^d$ 上の$α$-Hölder関数の単位球上の最適の最悪の一様近似誤差が、$0<α\leq1$ で、シャープオーダー $ \bigl(P\min\{M,P\\bigr)^{-α/d} を持つことを証明する。
特に,ネットワークの予算が増加するにつれて,固定次元の潜在空間でさえ,近似誤差を無くすのに十分であることを示す。
関連論文リスト
- On Explicit Super-Expressive Approximation for Neural Networks [14.904203072235434]
パラメータ境界と基本活性化を用いた固定構造ニューラルネットワーク近似について検討する。
以前の研究では、固定サイズネットワークを用いた超表現的近似が示されていたが、近似誤差に関するパラメータの量的および非漸近的な特徴が欠如していた。
論文 参考訳（メタデータ） (2026-07-07T20:21:57Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。
SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - $O(k)$-Equivariant Dimensionality Reduction on Stiefel Manifolds [2.0818404738530525]
多くの実世界のデータセットは、高次元のスティーフェル多様体とグラスマン多様体に、それぞれ$V_k(mathbbRN)$と$Gr(k, mathbbRN)$で存在する。
我々はtextitPrincipal Stiefel Coordinates (PSC) というアルゴリズムを提案し、データ次元を$V_k(mathbbRN)$から$V_k(mathbbRn)$に減らした。
論文 参考訳（メタデータ） (2023-09-19T17:21:12Z) - Optimal approximation using complex-valued neural networks [0.0]
複雑評価ニューラルネットワーク(CVNN)は最近、有望な経験的成功を示している。
CVNNの表現性を近似特性を用いて解析する。
論文 参考訳（メタデータ） (2023-03-29T15:56:43Z) - Local approximation of operators [0.0]
距離空間 $mathfrakX$ と $mathfrakY$ の間の非線形作用素の近似の度合いを決定する問題について検討する。
例えば、$mathbbSd$ の近似に関係する定数は $mathcalO(d1/6)$ である。
論文 参考訳（メタデータ） (2022-02-13T19:28:34Z) - Fast Graph Sampling for Short Video Summarization using Gershgorin Disc
Alignment [52.577757919003844]
高速グラフサンプリングの最近の進歩を利用して,短い動画を複数の段落に効率よく要約する問題について検討する。
実験結果から,本アルゴリズムは最先端の手法と同等の映像要約を実現し,複雑さを大幅に低減した。
論文 参考訳（メタデータ） (2021-10-21T18:43:00Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - On minimal representations of shallow ReLU networks [0.0]
f$の最小表現は$n$、$n+1$または$n+2$のどちらかを使用する。
特に入力層が一次元の場合、最小表現は常に少なくとも$n+1$のニューロンで使用されるが、高次元設定では$n+2$のニューロンを必要とする関数が存在する。
論文 参考訳（メタデータ） (2021-08-12T10:22:24Z) - A deep network construction that adapts to intrinsic dimensionality
beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。
例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文 参考訳（メタデータ） (2020-08-06T09:50:29Z) - A Canonical Transform for Strengthening the Local $L^p$-Type Universal
Approximation Property [4.18804572788063]
任意の機械学習モデルクラス $mathscrFsubseteq C(mathbbRd,mathbbRD)$ が $Lp_mu(mathbbRd,mathbbRD)$ で密であることを保証する。
本稿では、「$mathscrF$'s approximation property」という正準変換を導入することにより、この近似理論問題に対する一般的な解を提案する。
論文 参考訳（メタデータ） (2020-06-24T17:46:35Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳（メタデータ） (2020-02-23T22:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。