論文の概要: PETScML: Second-order solvers for training regression problems in Scientific Machine Learning
- arxiv url: http://arxiv.org/abs/2403.12188v1
- Date: Mon, 18 Mar 2024 18:59:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 18:21:58.034885
- Title: PETScML: Second-order solvers for training regression problems in Scientific Machine Learning
- Title（参考訳）: PETScML:Scientific Machine Learningにおける回帰学習問題の2次解法
- Authors: Stefano Zampini, Umberto Zerbinati, George Turkiyyah, David Keyes,
- Abstract要約: 近年、分析のためのデータ駆動ツールとして、科学機械学習の出現を目撃している。
我々は、ディープラーニングソフトウェアと従来の機械学習技術とのギャップを埋めるために、Portable and Extensible Toolkit for Scientific計算上に構築されたソフトウェアを紹介します。
- 参考スコア（独自算出の注目度）: 0.22499166814992438
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, we have witnessed the emergence of scientific machine learning as a data-driven tool for the analysis, by means of deep-learning techniques, of data produced by computational science and engineering applications. At the core of these methods is the supervised training algorithm to learn the neural network realization, a highly non-convex optimization problem that is usually solved using stochastic gradient methods. However, distinct from deep-learning practice, scientific machine-learning training problems feature a much larger volume of smooth data and better characterizations of the empirical risk functions, which make them suited for conventional solvers for unconstrained optimization. We introduce a lightweight software framework built on top of the Portable and Extensible Toolkit for Scientific computation to bridge the gap between deep-learning software and conventional solvers for unconstrained minimization. We empirically demonstrate the superior efficacy of a trust region method based on the Gauss-Newton approximation of the Hessian in improving the generalization errors arising from regression tasks when learning surrogate models for a wide range of scientific machine-learning techniques and test cases. All the conventional second-order solvers tested, including L-BFGS and inexact Newton with line-search, compare favorably, either in terms of cost or accuracy, with the adaptive first-order methods used to validate the surrogate models.
- Abstract（参考訳）: 近年,計算機科学や工学の応用による深層学習技術を用いた分析ツールとして,科学機械学習が出現するのを目撃している。
これらの手法のコアとなるのは、ニューラルネットワークの実現を学ぶための教師付きトレーニングアルゴリズムである。
しかし、ディープラーニングの実践とは違って、科学的な機械学習のトレーニング問題では、スムーズなデータの量が多くなり、経験的リスク関数のキャラクタリゼーションが向上し、制約のない最適化のための従来の解法に適している。
我々は,Portable and Extensible Toolkit for Scientific計算上に構築された軽量なソフトウェアフレームワークを導入し,ディープラーニングソフトウェアと非制約最小化のための従来の解法とのギャップを埋める。
我々は,幅広い科学的機械学習手法とテストケースのサロゲートモデルを学習する際に,回帰タスクから生じる一般化誤差を改善するために,ヘッセンのガウス・ニュートン近似に基づく信頼領域法の有効性を実証的に実証した。
L-BFGSや不正確なニュートンを含む従来の二階解法は、コストや精度の観点からも、サロゲートモデルの検証に使用される適応的な一階解法と比較して好意的に比較した。
関連論文リスト
- Faster Machine Unlearning via Natural Gradient Descent [2.3020018305241337]
経験的リスク最小化(Empirical Risk Minimization:ERM)を用いて機械学習モデルからデータを効率的に削除するという課題に対処する。
そこで本研究では,Natural Gradient Descent (D)アルゴリズムを応用した新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-11T04:19:28Z) - Learning Controllable Adaptive Simulation for Multi-resolution Physics [86.8993558124143]
完全深層学習に基づくサロゲートモデルとして,LAMP(Learning Controllable Adaptive Simulation for Multi- resolution Physics)を導入した。
LAMPは、前方進化を学習するためのグラフニューラルネットワーク(GNN)と、空間的洗練と粗大化のポリシーを学ぶためのGNNベースのアクター批判で構成されている。
我々は,LAMPが最先端のディープラーニングサロゲートモデルより優れており,長期予測誤差を改善するために,適応的なトレードオフ計算が可能であることを実証した。
論文 参考訳（メタデータ） (2023-05-01T23:20:27Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳（メタデータ） (2023-02-05T01:39:21Z) - Physics Informed Piecewise Linear Neural Networks for Process
Optimization [0.0]
ニューラルネットワークモデルに埋め込まれた最適化問題に対して,物理情報を用いた線形ニューラルネットワークモデルの更新が提案されている。
すべてのケースにおいて、物理インフォームドトレーニングニューラルネットワークに基づく最適結果は、大域的最適性に近い。
論文 参考訳（メタデータ） (2023-02-02T10:14:54Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳（メタデータ） (2023-02-01T17:32:16Z) - Deep learning applied to computational mechanics: A comprehensive
review, state of the art, and the classics [77.34726150561087]
人工知能,特に深層学習(DL)の最近の進歩を概観する。
ハイブリッドおよび純粋機械学習(ML)の手法について論じる。
AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
論文 参考訳（メタデータ） (2022-12-18T02:03:00Z) - Physical Gradients for Deep Learning [101.36788327318669]
最先端のトレーニング技術は、物理的なプロセスに関わる多くの問題に適していないことが分かりました。
本稿では,高次最適化手法と機械学習手法を組み合わせた新しいハイブリッドトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-30T12:14:31Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Application of an automated machine learning-genetic algorithm
(AutoML-GA) coupled with computational fluid dynamics simulations for rapid
engine design optimization [0.0]
本研究は,内燃機関のサロゲート最適化のための自動アクティブラーニング手法であるAutoML-GAについて述べる。
遺伝的アルゴリズムを用いて、機械学習サロゲート表面上の設計最適点を特定する。
その結果,AutoML-GAはCFDシミュレーションの少ない精度で最適化できることがわかった。
論文 参考訳（メタデータ） (2021-01-07T17:50:52Z) - Optimization for Supervised Machine Learning: Randomized Algorithms for
Data and Parameters [10.279748604797911]
機械学習とデータサイエンスの主な問題は、最適化問題として日常的にモデル化され、最適化アルゴリズムによって解決される。
データ量の増加と、これらの不条件最適化タスクを定式化するために使用される統計モデルのサイズと複雑さにより、これらの課題に対処できる新しい効率的なアルゴリズムが必要である。
この論文では,これらの課題をそれぞれ異なる方法で処理する。ビッグデータ問題に効率的に対処するために,各イテレーションでトレーニングデータの小さなランダムサブセットのみを検査する新しい手法を開発する。
大きなモデル問題に対処するために、イテレーション毎に更新されるメソッドを開発します。
論文 参考訳（メタデータ） (2020-08-26T21:15:18Z) - Designing Accurate Emulators for Scientific Processes using
Calibration-Driven Deep Models [33.935755695805724]
Learn-by-Calibrating (LbC)は、科学応用においてエミュレータを設計するための新しいディープラーニングアプローチである。
また,LbCは広く適応された損失関数の選択に対して,一般化誤差を大幅に改善することを示した。
LbCは、小さなデータレギュレータでも高品質なエミュレータを実現し、さらに重要なことは、明確な事前条件なしで固有のノイズ構造を復元する。
論文 参考訳（メタデータ） (2020-05-05T16:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。