論文の概要: A Quantifier-Reversal Approximation Paradigm for Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2511.15326v1
• Date: Wed, 19 Nov 2025 10:43:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.76652
• Title: A Quantifier-Reversal Approximation Paradigm for Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークのための量子化器逆近似パラダイム
• Authors: Clemens Hutter, Valentin Abadie, Helmut Bölcskei,
• Abstract要約: 本稿では,量子化器の順序を逆転する近似パラダイムを基本的に導入する。 各ターゲット関数$f$に対して、固定トポロジと固定重みを持つ単一リカレントニューラルネットワーク(RNN)を構築する。 我々のRNN構造は、基盤となる深いフィードフォワードReLUネットワーク近似理論をエミュレートする。
• 参考スコア（独自算出の注目度）: 1.096028999747108
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Classical neural network approximation results take the form: for every function $f$ and every error tolerance $ε> 0$, one constructs a neural network whose architecture and weights depend on $ε$. This paper introduces a fundamentally different approximation paradigm that reverses this quantifier order. For each target function $f$, we construct a single recurrent neural network (RNN) with fixed topology and fixed weights that approximates $f$ to within any prescribed tolerance $ε> 0$ when run for sufficiently many time steps. The key mechanism enabling this quantifier reversal is temporal computation combined with weight sharing: rather than increasing network depth, the approximation error is reduced solely by running the RNN longer. This yields exponentially decaying approximation error as a function of runtime while requiring storage of only a small, fixed set of weights. Such architectures are appealing for hardware implementations where memory is scarce and runtime is comparatively inexpensive. To initiate the systematic development of this novel approximation paradigm, we focus on univariate polynomials. Our RNN constructions emulate the structural calculus underlying deep feed-forward ReLU network approximation theory -- parallelization, linear combinations, affine transformations, and, most importantly, a clocked mechanism that realizes function composition within a single recurrent architecture. The resulting RNNs have size independent of the error tolerance $ε$ and hidden-state dimension linear in the degree of the polynomial.
• Abstract（参考訳）: すべての関数$f$と全てのエラー耐性$ε> 0$に対して、アーキテクチャと重みが$ε$に依存するニューラルネットワークを構築する。 本稿では、この量化器の順序を逆転する近似パラダイムを根本的に異なる近似パラダイムで導入する。 各ターゲット関数$f$に対して、十分に多くの時間ステップで実行された場合、固定トポロジと固定重み付き単一リカレントニューラルネットワーク(RNN)を構築し、所定の許容値$ε>0$の範囲内でf$を近似する。 この量子化器の逆転を可能にする重要なメカニズムは、時間計算とウェイトシェアリングの組み合わせであり、ネットワークの深さを増やすのではなく、RNNを長く実行することで近似誤差を減少させる。 これにより、小さな固定された重みの集合だけを保存しながら、指数関数としての近似誤差が指数関数的に減衰する。 このようなアーキテクチャは、メモリが不足し、ランタイムが比較的安価であるハードウェア実装にアピールする。 この新たな近似パラダイムの体系的開発を開始するために、単変量多項式に焦点をあてる。 我々のRNN構造は、並列化、線形結合、アフィン変換、そして最も重要なのは、単一のリカレントアーキテクチャ内の関数構成を実現するクロック機構という、基盤となる構造計算をエミュレートする。 結果の RNN は誤差耐性$ε$ と多項式の次数で線形な隠れ状態次元に依存しない大きさを持つ。

関連論文リスト

• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Neural Network Approximation of Continuous Functions in High Dimensions with Applications to Inverse Problems [6.84380898679299]
  現在の理論では、ネットワークは問題の次元で指数関数的にスケールすべきだと予測されている。 ニューラルネットワークがH"より古い(あるいは一様)連続関数を近似するのに要する複雑性を境界付ける一般的な方法を提案する。
  論文  参考訳（メタデータ） (2022-08-28T22:44:07Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
  ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。 さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
  論文  参考訳（メタデータ） (2020-07-30T23:50:44Z)
• The Interpolation Phase Transition in Neural Networks: Memorization and Generalization under Lazy Training [10.72393527290646]
  ニューラル・タンジェント(NT)体制における2層ニューラルネットワークの文脈における現象について検討した。 Ndgg n$ とすると、テストエラーは無限幅のカーネルに対するカーネルリッジ回帰の1つによってよく近似される。 後者は誤差リッジ回帰によりよく近似され、活性化関数の高次成分に関連する自己誘導項により正規化パラメータが増加する。
  論文  参考訳（メタデータ） (2020-07-25T01:51:13Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Interpretable Deep Recurrent Neural Networks via Unfolding Reweighted $\ell_1$-$\ell_1$ Minimization: Architecture Design and Generalization Analysis [19.706363403596196]
  本稿では、再重み付き最小化アルゴリズムの展開により、新しいディープリカレントニューラルネットワーク(coined reweighted-RNN)を開発する。 我々の知る限りでは、これは再重み付け最小化を探求する最初の深層展開法である。 移動MNISTデータセットの実験結果から,提案した深度再重み付きRNNは既存のRNNモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-03-18T17:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。