論文の概要: PETScML: Second-order solvers for training regression problems in Scientific Machine Learning
- arxiv url: http://arxiv.org/abs/2403.12188v1
- Date: Mon, 18 Mar 2024 18:59:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 18:21:58.034885
- Title: PETScML: Second-order solvers for training regression problems in Scientific Machine Learning
- Title（参考訳）: PETScML:Scientific Machine Learningにおける回帰学習問題の2次解法
- Authors: Stefano Zampini, Umberto Zerbinati, George Turkiyyah, David Keyes,
- Abstract要約: 近年、分析のためのデータ駆動ツールとして、科学機械学習の出現を目撃している。
我々は、ディープラーニングソフトウェアと従来の機械学習技術とのギャップを埋めるために、Portable and Extensible Toolkit for Scientific計算上に構築されたソフトウェアを紹介します。
- 参考スコア（独自算出の注目度）: 0.22499166814992438
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, we have witnessed the emergence of scientific machine learning as a data-driven tool for the analysis, by means of deep-learning techniques, of data produced by computational science and engineering applications. At the core of these methods is the supervised training algorithm to learn the neural network realization, a highly non-convex optimization problem that is usually solved using stochastic gradient methods. However, distinct from deep-learning practice, scientific machine-learning training problems feature a much larger volume of smooth data and better characterizations of the empirical risk functions, which make them suited for conventional solvers for unconstrained optimization. We introduce a lightweight software framework built on top of the Portable and Extensible Toolkit for Scientific computation to bridge the gap between deep-learning software and conventional solvers for unconstrained minimization. We empirically demonstrate the superior efficacy of a trust region method based on the Gauss-Newton approximation of the Hessian in improving the generalization errors arising from regression tasks when learning surrogate models for a wide range of scientific machine-learning techniques and test cases. All the conventional second-order solvers tested, including L-BFGS and inexact Newton with line-search, compare favorably, either in terms of cost or accuracy, with the adaptive first-order methods used to validate the surrogate models.
- Abstract（参考訳）: 近年,計算機科学や工学の応用による深層学習技術を用いた分析ツールとして,科学機械学習が出現するのを目撃している。
これらの手法のコアとなるのは、ニューラルネットワークの実現を学ぶための教師付きトレーニングアルゴリズムである。
しかし、ディープラーニングの実践とは違って、科学的な機械学習のトレーニング問題では、スムーズなデータの量が多くなり、経験的リスク関数のキャラクタリゼーションが向上し、制約のない最適化のための従来の解法に適している。
我々は,Portable and Extensible Toolkit for Scientific計算上に構築された軽量なソフトウェアフレームワークを導入し,ディープラーニングソフトウェアと非制約最小化のための従来の解法とのギャップを埋める。
我々は,幅広い科学的機械学習手法とテストケースのサロゲートモデルを学習する際に,回帰タスクから生じる一般化誤差を改善するために,ヘッセンのガウス・ニュートン近似に基づく信頼領域法の有効性を実証的に実証した。
L-BFGSや不正確なニュートンを含む従来の二階解法は、コストや精度の観点からも、サロゲートモデルの検証に使用される適応的な一階解法と比較して好意的に比較した。
関連論文リスト
- What Really Matters for Learning-based LiDAR-Camera Calibration [50.2608502974106]
本稿では,学習に基づくLiDAR-Cameraキャリブレーションの開発を再考する。
我々は、広く使われているデータ生成パイプラインによる回帰ベースの手法の限界を識別する。
また,入力データ形式と前処理操作がネットワーク性能に与える影響についても検討する。
論文 参考訳（メタデータ） (2025-01-28T14:12:32Z) - Linearly Convergent Mixup Learning [0.0]
より広い範囲のバイナリ分類モデルに拡張する2つの新しいアルゴリズムを提案する。
勾配に基づくアプローチとは異なり、我々のアルゴリズムは学習率のようなハイパーパラメータを必要とせず、実装と最適化を単純化する。
我々のアルゴリズムは、降下勾配法と比較して最適解への高速収束を実現し、ミックスアップデータの増大は、様々な損失関数の予測性能を一貫して改善する。
論文 参考訳（メタデータ） (2025-01-14T02:33:40Z) - Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。
本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文 参考訳（メタデータ） (2024-10-29T14:41:44Z) - Neural Network Surrogate and Projected Gradient Descent for Fast and Reliable Finite Element Model Calibration: a Case Study on an Intervertebral Disc [9.456474817418703]
そこで本研究では,L4-L5 IVD FEモデルを用いた新しい,効率的かつ効果的なキャリブレーション手法を提案する。
NNサロゲートは、シミュレーション結果を高精度に予測し、他の機械学習モデルより優れ、計算コストを大幅に削減する。
このような効率性は、より複雑なFEモデルを適用する方法となり、IVDを超えて拡張される可能性がある。
論文 参考訳（メタデータ） (2024-08-12T11:39:21Z) - Learning Controllable Adaptive Simulation for Multi-resolution Physics [86.8993558124143]
完全深層学習に基づくサロゲートモデルとして,LAMP(Learning Controllable Adaptive Simulation for Multi- resolution Physics)を導入した。
LAMPは、前方進化を学習するためのグラフニューラルネットワーク(GNN)と、空間的洗練と粗大化のポリシーを学ぶためのGNNベースのアクター批判で構成されている。
我々は,LAMPが最先端のディープラーニングサロゲートモデルより優れており,長期予測誤差を改善するために,適応的なトレードオフ計算が可能であることを実証した。
論文 参考訳（メタデータ） (2023-05-01T23:20:27Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳（メタデータ） (2023-02-01T17:32:16Z) - Physical Gradients for Deep Learning [101.36788327318669]
最先端のトレーニング技術は、物理的なプロセスに関わる多くの問題に適していないことが分かりました。
本稿では,高次最適化手法と機械学習手法を組み合わせた新しいハイブリッドトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-30T12:14:31Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Application of an automated machine learning-genetic algorithm
(AutoML-GA) coupled with computational fluid dynamics simulations for rapid
engine design optimization [0.0]
本研究は,内燃機関のサロゲート最適化のための自動アクティブラーニング手法であるAutoML-GAについて述べる。
遺伝的アルゴリズムを用いて、機械学習サロゲート表面上の設計最適点を特定する。
その結果,AutoML-GAはCFDシミュレーションの少ない精度で最適化できることがわかった。
論文 参考訳（メタデータ） (2021-01-07T17:50:52Z) - Optimization for Supervised Machine Learning: Randomized Algorithms for
Data and Parameters [10.279748604797911]
機械学習とデータサイエンスの主な問題は、最適化問題として日常的にモデル化され、最適化アルゴリズムによって解決される。
データ量の増加と、これらの不条件最適化タスクを定式化するために使用される統計モデルのサイズと複雑さにより、これらの課題に対処できる新しい効率的なアルゴリズムが必要である。
この論文では,これらの課題をそれぞれ異なる方法で処理する。ビッグデータ問題に効率的に対処するために,各イテレーションでトレーニングデータの小さなランダムサブセットのみを検査する新しい手法を開発する。
大きなモデル問題に対処するために、イテレーション毎に更新されるメソッドを開発します。
論文 参考訳（メタデータ） (2020-08-26T21:15:18Z) - Designing Accurate Emulators for Scientific Processes using
Calibration-Driven Deep Models [33.935755695805724]
Learn-by-Calibrating (LbC)は、科学応用においてエミュレータを設計するための新しいディープラーニングアプローチである。
また,LbCは広く適応された損失関数の選択に対して,一般化誤差を大幅に改善することを示した。
LbCは、小さなデータレギュレータでも高品質なエミュレータを実現し、さらに重要なことは、明確な事前条件なしで固有のノイズ構造を復元する。
論文 参考訳（メタデータ） (2020-05-05T16:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。