論文の概要: Structural Correspondence and Universal Approximation in Diagonal plus Low-Rank Neural Networks

• arxiv url: http://arxiv.org/abs/2605.05659v1
• Date: Thu, 07 May 2026 04:21:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.516253
• Title: Structural Correspondence and Universal Approximation in Diagonal plus Low-Rank Neural Networks
• Title（参考訳）: 対角+低ランクニューラルネットワークの構造対応と普遍近似
• Authors: Ying Chen, Aoxi Li, Jihun Kim, Javad Lavaei,
• Abstract要約: 最小限の対角成分しか持たない低ランク層の拡大はユニバーサル近似に到達するのに十分であることを示す。 また、DLoRニューラルネットワークが一般活性化関数のユニバーサル近似定理を完全に復元していることも証明した。
• 参考スコア（独自算出の注目度）: 20.012790053758078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The massive computational costs of scaling modern deep learning architectures have driven the widespread use of parameter-efficient low-rank structures, such as LoRA and low-rank factorization. However, theoretical guarantees for their expressive power are less explored, often relying on restrictive priors like a pretrained base matrix, ReLU activations or non-verifiable singularity conditions. We first investigate the limits of neural networks constrained strictly to low-rank manifolds without pretrained dense priors. We demonstrate a theoretical paradox: while purely rank-1 layers can exactly interpolate arbitrary scalar datasets, they collapse for function approximations. To overcome this bottleneck without surrendering parameter efficiency, we introduce a unified \textit{Structural Correspondence} framework. We prove that augmenting low-rank layers with only a minimal sparse diagonal component, say a Diagonal plus Low-Rank (DLoR) structure, is sufficient to reach Universal Approximation. We show that any full-rank transformation can be exactly reconstructed using these DLoR components by trading off network width (additive decomposition) or depth (multiplicative decomposition). By tracking asymptotic Taylor remainders, we prove that DLoR neural networks fully restore the Universal Approximation Theorem for general activation functions. Finally, we establish that multiplicative depth provides superior parameter-to-expressivity scaling compared to additive width. Our results show that dense matrices and specific activation functions are not topological prerequisites for universal expressivity.
• Abstract（参考訳）: 現代のディープラーニングアーキテクチャをスケールする際の膨大な計算コストにより、LoRAや低階分解といったパラメータ効率の低い構造が広く使われるようになった。 しかし、それらの表現力に関する理論的な保証は、しばしば事前訓練された基底行列、ReLU活性化、あるいは検証不可能な特異性条件のような制限された事前条件に頼っている。 まず,厳密な事前学習を伴わない低ランク多様体に厳密に制約されたニューラルネットワークの限界について検討する。 純粋にランク1の層は任意のスカラーデータセットを正確に補間できるが、関数近似のために崩壊する。 パラメータ効率を下げることなく、このボトルネックを克服するために、統合された \textit{Structural Cor correspondingence} フレームワークを導入する。 対角線と低ランク線(DLoR)構造など、最小の対角線成分しか持たない低ランク層の拡大は、普遍近似に到達するのに十分であることを示す。 ネットワーク幅(加法分解)や深さ(乗算分解)をトレードオフすることにより,これらのDLoR成分を用いて任意のフルランク変換を正確に再構成可能であることを示す。 非漸近的テイラー残基を追跡することで、DLoRニューラルネットワークが一般活性化関数のユニバーサル近似理論を完全に復元できることを証明した。 最後に,乗法深度は加法幅よりもパラメータ対表現率のスケーリングに優れることを示す。 以上の結果から,高密度行列と特定の活性化関数は普遍的表現性のための位相的前提条件ではないことが示唆された。

関連論文リスト

• Normalized Iterative Hard Thresholding for Tensor Recovery [7.5277782201584085]
  低ランク回復は圧縮センシングの理論に基づく。 我々は、低ランクテンソルの回復のために、NIHTのテンソル拡張(TNIHT)を提案する。
  論文  参考訳（メタデータ） (2025-07-06T03:36:50Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Approximating Latent Manifolds in Neural Networks via Vanishing Ideals [20.464009622419766]
  我々は, 無限イデアルがディープネットワークの潜在多様体をいかに特徴付けるかを示すことによって, 多様体学習と計算代数学の関連性を確立する。 本稿では,中間層で事前学習されたネットワークを切断し,消滅するイデアルのジェネレータを介して各クラス多様体を近似するニューラルアーキテクチャを提案する。 得られたモデルは、トレーニング済みのベースラインよりも著しく少ないが、同等の精度を維持し、高いスループットを実現し、パラメータが少ない。
  論文  参考訳（メタデータ） (2025-02-20T21:23:02Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Global convergence of ResNets: From finite to infinite width using linear parameterization [0.0]
  残差ブロックが非線形でありながら線形パラメトリゼーションを有する残差ネットワーク(Residual Networks, ResNets)について検討する。 この極限において、局所的なポリアック・ロジャシエヴィチの不等式を証明し、遅延状態を取得する。 私たちの分析は実用的で定量化されたレシピにつながります。
  論文  参考訳（メタデータ） (2021-12-10T13:38:08Z)
• Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
  より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。 We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。 対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
  論文  参考訳（メタデータ） (2021-05-31T09:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。