論文の概要: Fast Iterative Solver For Neural Network Method: II. 1D Diffusion-Reaction Problems And Data Fitting

• arxiv url: http://arxiv.org/abs/2407.01496v1
• Date: Mon, 1 Jul 2024 17:42:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-03 20:21:46.311198
• Title: Fast Iterative Solver For Neural Network Method: II. 1D Diffusion-Reaction Problems And Data Fitting
• Title（参考訳）: ニューラルネットワークのための高速反復解法:II. 1次元拡散反応問題とデータフィッティング
• Authors: Zhiqiang Cai, Anastassia Doktorova, Robert D. Falgout, César Herrera,
• Abstract要約: dBN法は、質量行列を含む線形方程式系の解法を必要とする。 我々は、$cal O(n)$演算で線形方程式の系を解くことができる質量行列の分解について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper expands the damped block Newton (dBN) method introduced recently in [4] for 1D diffusion-reaction equations and least-squares data fitting problems. To determine the linear parameters (the weights and bias of the output layer) of the neural network (NN), the dBN method requires solving systems of linear equations involving the mass matrix. While the mass matrix for local hat basis functions is tri-diagonal and well-conditioned, the mass matrix for NNs is dense and ill-conditioned. For example, the condition number of the NN mass matrix for quasi-uniform meshes is at least ${\cal O}(n^4)$. We present a factorization of the mass matrix that enables solving the systems of linear equations in ${\cal O}(n)$ operations. To determine the non-linear parameters (the weights and bias of the hidden layer), one step of a damped Newton method is employed at each iteration. A Gauss-Newton method is used in place of Newton for the instances in which the Hessian matrices are singular. This modified dBN is referred to as dBGN. For both methods, the computational cost per iteration is ${\cal O}(n)$. Numerical results demonstrate the ability dBN and dBGN to efficiently achieve accurate results and outperform BFGS for select examples.
• Abstract（参考訳）: 本稿では,1次元拡散反応方程式と最小二乗データ適合問題に対して,最近[4]で導入されたダンプブロックニュートン(dBN)法を拡張する。 ニューラルネットワーク(NN)の線形パラメータ(出力層の重みとバイアス)を決定するために、dBN法は質量行列を含む線形方程式系の解法を必要とする。 局所的ハット基底関数の質量行列は三対角的かつよく条件付けされているが、NNの質量行列は密で条件付けされていない。 例えば、準ユニフォームメッシュに対するNN質量行列の条件数は少なくとも${\cal O}(n^4)$である。 本稿では,線形方程式の系を${\cal O}(n)$演算で解くことが可能な質量行列の分解について述べる。 非線型パラメータ(隠蔽層の重みとバイアス)を決定するために、各イテレーションでダンプされたニュートン法の1ステップが使用される。 ガウス・ニュートン法は、ヘッセン行列が特異な場合にニュートンの代わりに用いられる。 この修飾dBNはdBGNと呼ばれる。 どちらの方法も、反復当たりの計算コストは${\cal O}(n)$である。 数値的な結果から,dBNとdBGNが効率よく正確な結果が得られることを示した。

関連論文リスト

• A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations [9.588717577573684]
  偏微分方程式(PDE)を解くためのスケーラブルな事前条件付き原始ハイブリッド勾配アルゴリズムを提案する。 本稿では,提案手法の性能を,一般的なディープラーニングアルゴリズムと比較する。 その結果,提案手法は効率的かつ堅牢に動作し,安定に収束することが示唆された。
  論文  参考訳（メタデータ） (2024-11-09T20:39:10Z)
• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network [18.06366638807982]
  浅いReLUニューラルネットワークを用いて最小二乗問題を解くための構造誘導型ガウスニュートン法(SgGN)を提案する。 目的関数の最小二乗構造とニューラルネットワーク構造の両方を効果的に活用する。
  論文  参考訳（メタデータ） (2024-04-07T20:24:44Z)
• Purely quantum algorithms for calculating determinant and inverse of matrix and solving linear algebraic systems [43.53835128052666]
  そこで我々は,行列式と逆行列の計算に$(N-1)倍 (N-1)$行列を求める量子アルゴリズムを提案する。 このアプローチは、N×N$行列の行列式を決定するための既存のアルゴリズムの簡単な修正である。 3つのアルゴリズムすべてに対して適切な回路設計を提供し、それぞれが空間的に$O(N log N)$と見積もられている。
  論文  参考訳（メタデータ） (2024-01-29T23:23:27Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• An Extreme Learning Machine-Based Method for Computational PDEs in Higher Dimensions [1.2981626828414923]
  本稿では,確率型ニューラルネットワークに基づく高次元偏微分方程式(PDE)の解法について述べる。 本稿では,高次元線形・非線形定常・動的PDEの数値シミュレーションを行い,その性能を実証する。
  論文  参考訳（メタデータ） (2023-09-13T15:59:02Z)
• Vectorization of the density matrix and quantum simulation of the von Neumann equation of time-dependent Hamiltonians [65.268245109828]
  我々は、von-Neumann方程式を線形化するための一般的なフレームワークを開発し、量子シミュレーションに適した形でレンダリングする。 フォン・ノイマン方程式のこれらの線型化のうちの1つは、状態ベクトルが密度行列の列重ね元となる標準的な場合に対応することを示す。 密度行列の力学をシミュレートする量子アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-14T23:08:51Z)
• A Majorization-Minimization Gauss-Newton Method for 1-Bit Matrix Completion [15.128477070895055]
  本稿では,Majorization-Minimization Gauss-Newton (MMGN) と呼ばれる新しい1ビット行列補完法を提案する。 本手法は,元の最適化問題を標準的な低ランク行列補完問題に変換する偏極最小化原理に基づく。
  論文  参考訳（メタデータ） (2023-04-27T03:16:52Z)
• Decentralized Riemannian natural gradient methods with Kronecker-product approximations [11.263837420265594]
  本稿では,分散化多様体最適化問題の解法として,効率的な分散化自然勾配降下法(DRNGD)を提案する。 クロネッカー因子を介して通信を行うことにより、RFIMの高品質な近似を低コストで得ることができる。
  論文  参考訳（メタデータ） (2023-03-16T19:36:31Z)
• Log-based Sparse Nonnegative Matrix Factorization for Data Representation [55.72494900138061]
  非負の行列因子化(NMF)は、非負のデータを部品ベースの表現で表すことの有効性から、近年広く研究されている。 そこで本研究では,係数行列に対数ノルムを課した新しいNMF法を提案する。 提案手法のロバスト性を高めるために,$ell_2,log$-(pseudo) ノルムを新たに提案した。
  論文  参考訳（メタデータ） (2022-04-22T11:38:10Z)
• Numerical Approximation of Partial Differential Equations by a Variable Projection Method with Artificial Neural Networks [0.0]
  本稿では、可変投影(VarPro)フレームワークと人工ニューラルネットワーク(ANN)に基づく線形非線形PDEの解法を提案する。 線形PDEでは、コロケーション点上の境界値と初期値の問題を強制すると、ネットワーク係数に関する分離可能な非線形最小二乗問題が発生する。 本稿では, 線形出力層係数を除去するためにVarPro法によりこの問題を再検討し, 隠蔽層係数のみに関する問題を低減した。
  論文  参考訳（メタデータ） (2022-01-24T22:31:38Z)
• Quantum Newton's method for solving system of nonlinear algebraic equations [0.25782420501870296]
  ニュートン法に基づく非線形方程式の$N$次元系を解くための量子ニュートン法(QNM)を提案する。 我々は、古典量子データ変換プロセスを実装するために、特定の量子データ構造とサンプル誤差$epsilon_s$の$l_infty$トモグラフィーを使用する。
  論文  参考訳（メタデータ） (2021-09-17T11:20:26Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• QUBO formulations for numerical quantum computing [0.0]
  Harrow-Hassidim-Lloydアルゴリズムは、ゲートモデル量子コンピュータ上の線形システムを解くための重要な量子アルゴリズムである。 Ax=b を満たすベクトル x に対する非制約バイナリ最適化 (QUBO) モデルを見つける。 我々は,これらのQUBOモデルをD-Waveシステム上で検証し,その結果について考察する。
  論文  参考訳（メタデータ） (2021-06-21T02:49:59Z)
• Analysis of One-Hidden-Layer Neural Networks via the Resolvent Method [0.0]
  ランダムニューラルネットワークによって動機づけられた確率行列 $M = Y Yast$ と $Y = f(WX)$ を考える。 制限スペクトル分布のStieltjes変換は、いくつかの誤差項まで準自己整合方程式を満たすことを証明している。 さらに、前回の結果を加法バイアス $Y=f(WX+B)$ の場合に拡張し、$B$ は独立なランク1のガウス確率行列である。
  論文  参考訳（メタデータ） (2021-05-11T15:17:39Z)
• Solving and Learning Nonlinear PDEs with Gaussian Processes [11.09729362243947]
  非線形偏微分方程式を解くための単純で厳密で統一された枠組みを提案する。 提案手法は、コロケーションカーネル法を非線形PDEとIPに自然に一般化する。 IP では,PDE におけるパラメータの同定と解の数値近似を反復的に行う手法が提案されているが,アルゴリズムは両手法を同時に扱う。
  論文  参考訳（メタデータ） (2021-03-24T03:16:08Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
  ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。 我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-30T19:10:32Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。