論文の概要: Fast Iterative Solver For Neural Network Method: II. 1D Diffusion-Reaction Problems And Data Fitting

• arxiv url: http://arxiv.org/abs/2407.01496v1
• Date: Mon, 1 Jul 2024 17:42:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 20:21:46.311198
• Title: Fast Iterative Solver For Neural Network Method: II. 1D Diffusion-Reaction Problems And Data Fitting
• Title（参考訳）: ニューラルネットワークのための高速反復解法:II. 1次元拡散反応問題とデータフィッティング
• Authors: Zhiqiang Cai, Anastassia Doktorova, Robert D. Falgout, César Herrera,
• Abstract要約: dBN法は、質量行列を含む線形方程式系の解法を必要とする。 我々は、$cal O(n)$演算で線形方程式の系を解くことができる質量行列の分解について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper expands the damped block Newton (dBN) method introduced recently in [4] for 1D diffusion-reaction equations and least-squares data fitting problems. To determine the linear parameters (the weights and bias of the output layer) of the neural network (NN), the dBN method requires solving systems of linear equations involving the mass matrix. While the mass matrix for local hat basis functions is tri-diagonal and well-conditioned, the mass matrix for NNs is dense and ill-conditioned. For example, the condition number of the NN mass matrix for quasi-uniform meshes is at least ${\cal O}(n^4)$. We present a factorization of the mass matrix that enables solving the systems of linear equations in ${\cal O}(n)$ operations. To determine the non-linear parameters (the weights and bias of the hidden layer), one step of a damped Newton method is employed at each iteration. A Gauss-Newton method is used in place of Newton for the instances in which the Hessian matrices are singular. This modified dBN is referred to as dBGN. For both methods, the computational cost per iteration is ${\cal O}(n)$. Numerical results demonstrate the ability dBN and dBGN to efficiently achieve accurate results and outperform BFGS for select examples.
• Abstract（参考訳）: 本稿では,1次元拡散反応方程式と最小二乗データ適合問題に対して,最近[4]で導入されたダンプブロックニュートン(dBN)法を拡張する。 ニューラルネットワーク(NN)の線形パラメータ(出力層の重みとバイアス)を決定するために、dBN法は質量行列を含む線形方程式系の解法を必要とする。 局所的ハット基底関数の質量行列は三対角的かつよく条件付けされているが、NNの質量行列は密で条件付けされていない。 例えば、準ユニフォームメッシュに対するNN質量行列の条件数は少なくとも${\cal O}(n^4)$である。 本稿では,線形方程式の系を${\cal O}(n)$演算で解くことが可能な質量行列の分解について述べる。 非線型パラメータ(隠蔽層の重みとバイアス)を決定するために、各イテレーションでダンプされたニュートン法の1ステップが使用される。 ガウス・ニュートン法は、ヘッセン行列が特異な場合にニュートンの代わりに用いられる。 この修飾dBNはdBGNと呼ばれる。 どちらの方法も、反復当たりの計算コストは${\cal O}(n)$である。 数値的な結果から,dBNとdBGNが効率よく正確な結果が得られることを示した。

関連論文リスト

• A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network [18.06366638807982]
  浅いReLUニューラルネットワークを用いて最小二乗問題を解くための構造誘導型ガウスニュートン法(SgGN)を提案する。 目的関数の最小二乗構造とニューラルネットワーク構造の両方を効果的に活用する。
  論文  参考訳（メタデータ） (2024-04-07T20:24:44Z)
• Vectorization of the density matrix and quantum simulation of the von Neumann equation of time-dependent Hamiltonians [65.268245109828]
  我々は、von-Neumann方程式を線形化するための一般的なフレームワークを開発し、量子シミュレーションに適した形でレンダリングする。 フォン・ノイマン方程式のこれらの線型化のうちの1つは、状態ベクトルが密度行列の列重ね元となる標準的な場合に対応することを示す。 密度行列の力学をシミュレートする量子アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-14T23:08:51Z)
• A Majorization-Minimization Gauss-Newton Method for 1-Bit Matrix Completion [15.128477070895055]
  本稿では,Majorization-Minimization Gauss-Newton (MMGN) と呼ばれる新しい1ビット行列補完法を提案する。 本手法は,元の最適化問題を標準的な低ランク行列補完問題に変換する偏極最小化原理に基づく。
  論文  参考訳（メタデータ） (2023-04-27T03:16:52Z)
• Log-based Sparse Nonnegative Matrix Factorization for Data Representation [55.72494900138061]
  非負の行列因子化(NMF)は、非負のデータを部品ベースの表現で表すことの有効性から、近年広く研究されている。 そこで本研究では,係数行列に対数ノルムを課した新しいNMF法を提案する。 提案手法のロバスト性を高めるために,$ell_2,log$-(pseudo) ノルムを新たに提案した。
  論文  参考訳（メタデータ） (2022-04-22T11:38:10Z)
• Quantum Newton's method for solving system of nonlinear algebraic equations [0.25782420501870296]
  ニュートン法に基づく非線形方程式の$N$次元系を解くための量子ニュートン法(QNM)を提案する。 我々は、古典量子データ変換プロセスを実装するために、特定の量子データ構造とサンプル誤差$epsilon_s$の$l_infty$トモグラフィーを使用する。
  論文  参考訳（メタデータ） (2021-09-17T11:20:26Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• QUBO formulations for numerical quantum computing [0.0]
  Harrow-Hassidim-Lloydアルゴリズムは、ゲートモデル量子コンピュータ上の線形システムを解くための重要な量子アルゴリズムである。 Ax=b を満たすベクトル x に対する非制約バイナリ最適化 (QUBO) モデルを見つける。 我々は,これらのQUBOモデルをD-Waveシステム上で検証し,その結果について考察する。
  論文  参考訳（メタデータ） (2021-06-21T02:49:59Z)
• Analysis of One-Hidden-Layer Neural Networks via the Resolvent Method [0.0]
  ランダムニューラルネットワークによって動機づけられた確率行列 $M = Y Yast$ と $Y = f(WX)$ を考える。 制限スペクトル分布のStieltjes変換は、いくつかの誤差項まで準自己整合方程式を満たすことを証明している。 さらに、前回の結果を加法バイアス $Y=f(WX+B)$ の場合に拡張し、$B$ は独立なランク1のガウス確率行列である。
  論文  参考訳（メタデータ） (2021-05-11T15:17:39Z)
• Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
  ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。 我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-30T19:10:32Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。