論文の概要: Sparse Random-Feature Neural Networks with Krylov-Based SVD for Singularly Perturbed ODE

• arxiv url: http://arxiv.org/abs/2605.07286v1
• Date: Fri, 08 May 2026 05:48:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.835443
• Title: Sparse Random-Feature Neural Networks with Krylov-Based SVD for Singularly Perturbed ODE
• Title（参考訳）: Krylov-based SVD を用いたSparse Random-Feature Neural Networks for Singularly Perturbed ODE
• Authors: Kevin Kurian Thomas Vaidyan, Siddharth Rout,
• Abstract要約: ランダムフェールニューラルネットワーク(RFNN)は、高速なトレーニングを提供するが、隠された層アクティベーションの密度の高い表現のため、しばしば問題に悩まされる。 本稿では,RFNNの階層化と階層化を両立させるスパースフレームワークを提案する。 提案手法は, 1次元定常対流拡散方程式の場合の解の精度を維持し, 改善することを示した。
• 参考スコア（独自算出の注目度）: 1.0742675209112622
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Random-feature neural networks (RFNNs), including architectures with fixed hidden layers and analytically determined output weights, offer fast training but often suffer from issues due to dense representations of the hidden layer activation. Their reliance on dense feature mappings and least squares solvers can limit scalability and numerical stability, particularly for high-dimensional or stiff systems. Specifically, the activation matrix is observed to be low-rank and extremely ill-conditioned. In this work, we propose a sparse framework for RFNNs that integrates structured sparsity into the hidden layer activations that increases the rank and employs Sparse Singular Value Decomposition (sSVD) for solving the resulting linear least squares problem scalably and efficiently while catering to the bad condition number. We explore the theory behind Lanczos-Golub-Kahan Bidiagonalization technique for sparse SVD and conduct some experiments to identify some limitations and justify the requirement for orthogonalization step in our application. Then, we demonstrate that the proposed method maintains or improves solution accuracy for solving the benchmark one-dimensional steady convection-diffusion equations case having stronger advection, while achieving substantial gains in training efficiency and robustness compared to standard dense implementations.
• Abstract（参考訳）: 固定層と解析的に決定された出力重みを持つアーキテクチャを含むランダムフェールニューラルネットワーク(RFNN)は、高速なトレーニングを提供するが、隠れ層アクティベーションの密度の高い表現による問題に悩まされることが多い。 密度の高い特徴写像や最小二乗解法への依存は、特に高次元または硬いシステムにおいて、スケーラビリティと数値安定性を制限できる。 具体的には、活性化マトリックスは低ランクで極端に不飽和である。 本研究では, RFNNのスパース・フレームワークを提案する。このフレームワークは, 構造的疎結合を隠蔽層アクティベーションに統合し, ランクを増大させ, 結果として生じる線形最小二乗問題を, 悪条件数に対応しながら, 安定的に, 効率的に解くためにスパース特異値分解(SSVD)を用いる。 本稿では,Sparse SVDのためのLanczos-Golub-Kahan双対角化技術の背後にある理論を考察し,いくつかの限界を同定し,直交化ステップの要件を正当化する実験を行う。 そこで, 提案手法は, 従来の高密度実装と比較して, トレーニング効率とロバスト性を向上しつつ, より強い対流を有する1次元定常対流拡散方程式を解くための解の精度を維持し, 改善することを示した。

関連論文リスト

• QB-LIF: Learnable-Scale Quantized Burst Neurons for Efficient SNNs [18.0608697536269]
  量子化されたBurst-LIFニューロンは、学習可能なスケールで膜電位の飽和均一な量子化としてバーストスパイクを再構成する。 QB-LIFはバイナリと固定バーストSNNを一貫して上回り、超低レイテンシで高い精度を達成する。
  論文  参考訳（メタデータ） (2026-04-28T14:18:53Z)
• Smoothness Adaptivity in Constant-Depth Neural Networks: Optimal Rates via Smooth Activations [11.1057367593811]
  ソボレフ空間における学習関数を円滑に活性化するニューラルネットワークの近似と統計的性質について検討した。 本研究では,スムーズなアクティベーションを備えた定数深度ネットワークが,スムーズな適応性を実現することを証明した。 本稿では,ソボレフ関数クラスに対する最適速度を達成するための基本的なメカニズムとして,活性化の滑らかさを同定する。
  論文  参考訳（メタデータ） (2026-02-23T10:38:12Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• An Accelerated Alternating Partial Bregman Algorithm for ReLU-based Matrix Decomposition [0.0]
  本稿では,非負行列上に補正されたスパース低ランク特性について検討する。 本稿では,クラスタリングと圧縮タスクに有用な構造を取り入れた新しい正規化項を提案する。 我々は、任意の$Lge 1$に対して常に持つ$L$-smoothプロパティを維持しながら、対応する閉形式解を導出する。
  論文  参考訳（メタデータ） (2025-03-04T08:20:34Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。