論文の概要: Introduction to optimization methods for training SciML models

• arxiv url: http://arxiv.org/abs/2601.10222v1
• Date: Thu, 15 Jan 2026 09:36:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:19.082016
• Title: Introduction to optimization methods for training SciML models
• Title（参考訳）: SciMLモデルの学習のための最適化手法の紹介
• Authors: Alena Kopaničáková, Elisa Riccietti,
• Abstract要約: 最適化は現代の機械学習(ML)と科学機械学習(SciML)の両方の中心である この文書は、MLとSciMLにおける最適化手法の統一的な導入を提供し、問題構造がどのようにアルゴリズムの選択を形作るかを強調している。
• 参考スコア（独自算出の注目度）: 4.970277730082773
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Optimization is central to both modern machine learning (ML) and scientific machine learning (SciML), yet the structure of the underlying optimization problems differs substantially across these domains. Classical ML typically relies on stochastic, sample-separable objectives that favor first-order and adaptive gradient methods. In contrast, SciML often involves physics-informed or operator-constrained formulations in which differential operators induce global coupling, stiffness, and strong anisotropy in the loss landscape. As a result, optimization behavior in SciML is governed by the spectral properties of the underlying physical models rather than by data statistics, frequently limiting the effectiveness of standard stochastic methods and motivating deterministic or curvature-aware approaches. This document provides a unified introduction to optimization methods in ML and SciML, emphasizing how problem structure shapes algorithmic choices. We review first- and second-order optimization techniques in both deterministic and stochastic settings, discuss their adaptation to physics-constrained and data-driven SciML models, and illustrate practical strategies through tutorial examples, while highlighting open research directions at the interface of scientific computing and scientific machine learning.
• Abstract（参考訳）: 最適化は、現代の機械学習(ML)と科学機械学習(SciML)の両方の中心であるが、根底にある最適化問題の構造は、これらの領域で大きく異なる。 古典的MLは通常、一階法と適応勾配法を好む確率的、サンプル分離可能な目的に依存している。 これとは対照的に、SciMLは物理学的に表現されたり、作用素で制約された定式化を伴い、微分作用素は損失ランドスケープにおいて大域的結合、剛性、強い異方性を誘導する。 その結果、SciMLの最適化動作は、データ統計よりも基礎となる物理モデルのスペクトル特性によって制御され、標準的な確率的手法の有効性をしばしば制限し、決定論的あるいは曲率的アプローチを動機付けている。 この文書は、MLとSciMLにおける最適化手法の統一的な導入を提供し、問題構造がどのようにアルゴリズムの選択を形作るかを強調している。 我々は、決定論的および確率的両方の設定において、一階と二階の最適化手法をレビューし、物理制約付きおよびデータ駆動型SciMLモデルへの適応について議論し、チュートリアルの例を通して実践的な戦略を解説するとともに、科学計算と科学機械学習のインターフェースにおけるオープンな研究方向を強調した。

関連論文リスト

• Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
  この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。 推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
  論文  参考訳（メタデータ） (2025-12-03T13:16:35Z)
• Beyond First-Order: Training LLMs with Stochastic Conjugate Subgradients and AdamW [2.028622227373579]
  勾配に基づく降下(SGD)は、長い間、大きな言語モデル(LLM)の訓練の中心であった。 本稿では,LLMを学習するための適応サンプリングとともに,共役下次法を提案する。
  論文  参考訳（メタデータ） (2025-07-01T23:30:15Z)
• Reparameterized LLM Training via Orthogonal Equivalence Transformation [54.80172809738605]
  直交同値変換を用いてニューロンを最適化する新しいトレーニングアルゴリズムPOETを提案する。 POETは、目的関数を安定して最適化し、一般化を改善する。 我々は、大規模ニューラルネットワークのトレーニングにおいて、POETを柔軟かつスケーラブルにするための効率的な近似を開発する。
  論文  参考訳（メタデータ） (2025-06-09T17:59:34Z)
• Reconstructing Physics-Informed Machine Learning for Traffic Flow Modeling: a Multi-Gradient Descent and Pareto Learning Approach [5.055539099879598]
  物理インフォームド・機械学習(PIML)は現代の流れモデリングにおいて重要である。 本稿では,多目的最適化問題として,トレーニングプロセスの修正によるPIMLのパラダイムシフトを提案する。
  論文  参考訳（メタデータ） (2025-05-19T15:23:24Z)
• Physics-Informed Inference Time Scaling via Simulation-Calibrated Scientific Machine Learning [5.728698570173857]
  高次元偏微分方程式(PDE)は、量子化学から経済学、金融まで幅広い分野において重要な計算課題を提起する。 科学的機械学習(SciML)技術は近似的な解決策を提供するが、バイアスに悩まされ、重要な物理的洞察を無視することが多い。 シミュレーション・キャリブレーション・サイエンティフィック・機械学習(SCa)は,物理法則を強制することによって推論中のSCiML予測を動的に洗練・除去するフレームワークである。
  論文  参考訳（メタデータ） (2025-04-22T18:01:45Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。