論文の概要: Two-level overlapping additive Schwarz preconditioner for training scientific machine learning applications

• arxiv url: http://arxiv.org/abs/2406.10997v1
• Date: Sun, 16 Jun 2024 16:18:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 19:32:56.983101
• Title: Two-level overlapping additive Schwarz preconditioner for training scientific machine learning applications
• Title（参考訳）: 科学機械学習応用の訓練のための2レベル重畳付加型シュワルツプレコンディショナー
• Authors: Youngkyu Lee, Alena Kopaničáková, George Em Karniadakis,
• Abstract要約: 我々は、科学機械学習アプリケーションのトレーニングを加速するための、2レベル重なり合う新しいシュワルツプレコンディショナーを紹介する。 提案したプレコンディショナーの設計は、非線形二段重なり合うシュワルツプレコンディショナーによって動機付けられている。 提案した2レベルプレコンディショナーは、標準(LBS)の収束を著しく高速化するとともに、より正確な機械学習モデルを生成することを実証する。
• 参考スコア（独自算出の注目度）: 1.8434042562191815
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce a novel two-level overlapping additive Schwarz preconditioner for accelerating the training of scientific machine learning applications. The design of the proposed preconditioner is motivated by the nonlinear two-level overlapping additive Schwarz preconditioner. The neural network parameters are decomposed into groups (subdomains) with overlapping regions. In addition, the network's feed-forward structure is indirectly imposed through a novel subdomain-wise synchronization strategy and a coarse-level training step. Through a series of numerical experiments, which consider physics-informed neural networks and operator learning approaches, we demonstrate that the proposed two-level preconditioner significantly speeds up the convergence of the standard (LBFGS) optimizer while also yielding more accurate machine learning models. Moreover, the devised preconditioner is designed to take advantage of model-parallel computations, which can further reduce the training time.
• Abstract（参考訳）: 科学的な機械学習応用の訓練を加速するための2段階重畳付加型シュワルツプレコンディショナーを新たに導入する。 提案したプレコンディショナーの設計は、非線形二段重畳加法シュワルツプレコンディショナーによって動機付けられている。 ニューラルネットワークパラメータは、重複する領域を持つグループ(サブドメイン)に分解される。 さらに、ネットワークのフィードフォワード構造は、新しいサブドメインワイド同期戦略と粗いレベルのトレーニングステップによって間接的に強制される。 物理インフォームドニューラルネットワークと演算子学習のアプローチを検討する一連の数値実験を通じて、提案した2レベルプリコンディショナーが標準(LBFGS)オプティマイザの収束を著しく高速化し、より正確な機械学習モデルが得られることを示した。 さらに,設計したプレコンディショナーはモデル並列計算の利点を生かして設計されており,トレーニング時間を短縮することができる。

関連論文リスト

• A New Self-organizing Interval Type-2 Fuzzy Neural Network for Multi-Step Time Series Prediction [9.546043411729206]
  本稿では,マルチステップ時系列予測のための複数出力(SOIT2FNN-MO)を備えた新しい自己組織化間隔型2ファジィニューラルネットワークを提案する。 予測精度,不確実性処理,モデル解釈可能性を改善するため,9層ネットワークを開発した。
  論文  参考訳（メタデータ） (2024-07-10T19:35:44Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Enhancing training of physics-informed neural networks using domain-decomposition based preconditioning strategies [1.8434042562191815]
  広く使用されているL-BFGSに対して,加法的および乗法的プレコンディショニング戦略を導入する。 加法プレコンディショナーと乗算プレコンディショナーの両方が標準L-BFGSの収束を著しく改善することを示した。
  論文  参考訳（メタデータ） (2023-06-30T13:35:09Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
  この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。 第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。 本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-13T09:51:16Z)
• On the Interpretability of Regularisation for Neural Networks Through Model Gradient Similarity [0.0]
  モデルグラディエント類似度(MGS)は正規化の指標である。 MGSは、優れたパフォーマンスを示す新しい正規化スキームの基礎を提供する。
  論文  参考訳（メタデータ） (2022-05-25T10:38:33Z)
• Identification of Nonlinear Dynamic Systems Using Type-2 Fuzzy Neural Networks -- A Novel Learning Algorithm and a Comparative Study [12.77304082363491]
  スライディングモード理論に基づく学習アルゴリズムは、タイプ2ファジィニューラルネットワークの前提部分と結果部分の両方を調整するために提案されている。 提案アルゴリズムの安定性は、適切なリアプノフ関数を用いて証明されている。 いくつかの比較結果が得られ、提案アルゴリズムは既存の手法よりも高速な収束速度を持つことを示した。
  論文  参考訳（メタデータ） (2021-04-04T23:44:59Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。