論文の概要: Hybrid Least Squares/Gradient Descent Methods for MIONets
- arxiv url: http://arxiv.org/abs/2607.06976v1
- Date: Wed, 08 Jul 2026 03:59:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.277815
- Title: Hybrid Least Squares/Gradient Descent Methods for MIONets
- Title（参考訳）: ミオネッツのハイブリッド最小二乗法とグラディエントドライス法
- Abstract要約: そこで本研究では,MIONets の学習を高速化するための効率的なハイブリッド最小二乗降下法 (LSGD) を提案する。
本手法は,DeepONetsのLSGD法を一般化する。
本手法は, 各分岐の最終層パラメータの正規化項で, 一般型の$L2$ロスと互換性がある。
- 参考スコア（独自算出の注目度）: 2.2940141855172036
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we propose an efficient hybrid least squares/gradient descent (LSGD) method for MIONets to accelerate training. This method generalizes the LSGD method for DeepONets. Since MIONet is the sum of the entrywise product of multiple branch networks and a trunk network, it can be viewed as a multilinear function with respect to the last layer parameters of each branch network. These sets of parameters can be optimized using the alternating least squares method, where we solve the LS system for a single branch network in turn. To handle the large-sized system matrix, we introduce Kronecker and Khatri-Rao products and tensor permutation matrices to factor the large matrix into small ones. Our method is compatible with a general type of $L^2$ loss with regularization terms for the last layer parameters of each branch, where linear operators can be applied to the MIONet output in each loss term.
- Abstract（参考訳）: 本稿では,MIONets の学習を高速化するための効率的なハイブリッド最小二乗降下法 (LSGD) を提案する。
本手法は,DeepONetsのLSGD法を一般化する。
MIONetは、複数の分岐ネットワークとトランクネットワークのエントリーワイド積の和であるため、各分岐ネットワークの最終層パラメータに関して、多線形関数と見なすことができる。
これらのパラメータの集合は、交互に最小二乗法を用いて最適化することができる。
大規模システム行列を扱うために、KroneckerおよびKhatri-Rao積とテンソル置換行列を導入し、大きな行列を小さな行列に分解する。
本手法は,各分岐の最終層パラメータに対して正規化項を付した一般型の$L^2$損失と互換性があり,各損失項におけるMIONet出力に線形演算子を適用することができる。
関連論文リスト
- A fast direct solver based neural network for solving PDEs [0.2578242050187029]
本稿では,Ambikasaran と Darve (2013) が開発した HODLR 行列の高速直接解法に基づいて,HODLR 行列の逆演算を学習するニューラルネットワークを提案する。
我々は、線形層の一部をディープサブネットワークに置き換えることで、PDEに関連する非線形解演算子を学ぶようアーキテクチャを拡張した。
論文 参考訳（メタデータ） (2026-06-18T07:51:45Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - Hybrid Least Squares/Gradient Descent Methods for DeepONets [0.0]
DeepONetの出力は、分岐ネットワークの最後のパラメータに関して線形と見なすことができる。
本稿では,DeepONetの高速化に有効なハイブリッド最小/一方向降下法を提案する。
論文 参考訳（メタデータ） (2025-08-21T09:34:06Z) - Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。
本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
論文 参考訳（メタデータ） (2024-10-01T06:34:58Z) - Layer-Specific Optimization: Sensitivity Based Convolution Layers Basis Search [0.0]
畳み込み層の重みに対して行列分解を適用する新しい方法を提案する。
この方法の本質は、すべての畳み込みを訓練することではなく、畳み込みのサブセット(基底畳み込み)のみを訓練することであり、残りを基底の線形結合として表現することである。
ResNetファミリとCIFAR-10データセットによるモデル実験では、ベース畳み込みはモデルのサイズを減らすだけでなく、ネットワークの前方および後方通過を加速する。
論文 参考訳（メタデータ） (2024-08-12T09:24:48Z) - Over-the-Air Split Machine Learning in Wireless MIMO Networks [56.27831295707334]
スプリット機械学習(ML)では、ニューラルネットワーク(NN)の異なるパーティションが異なる計算ノードによって実行される。
通信負担を軽減するため、OAC(Over-the-air calculation)は通信と同時に計算の全てまたは一部を効率的に実装することができる。
論文 参考訳（メタデータ） (2022-10-07T15:39:11Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳（メタデータ） (2022-02-25T16:35:26Z) - A Mini-Block Natural Gradient Method for Deep Neural Networks [12.48022619079224]
我々は、近似自然勾配法、ミニブロックフィッシャー(MBF)の収束性を提案し、解析する。
提案手法では,一般化の並列性を利用して,各層内の多数の行列を効率的に処理する。
論文 参考訳（メタデータ） (2022-02-08T20:01:48Z) - Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。
本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
論文 参考訳（メタデータ） (2022-01-31T13:02:41Z) - Training Recurrent Neural Networks by Sequential Least Squares and the
Alternating Direction Method of Multipliers [0.20305676256390928]
本稿では、最適隠れネットワークパラメータを決定するために凸と2倍の差分損失と正規化項を用いることを提案する。
逐次最小二乗と交互方向乗算器を組み合わせる。
このアルゴリズムの性能は非線形システム同定ベンチマークで検証される。
論文 参考訳（メタデータ） (2021-12-31T08:43:04Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Controllable Orthogonalization in Training DNNs [96.1365404059924]
直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。
本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。
本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。
また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
論文 参考訳（メタデータ） (2020-04-02T10:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。