論文の概要: Unveiling Multi-regime Patterns in SciML: Distinct Failure Modes and Regime-specific Optimization

• arxiv url: http://arxiv.org/abs/2605.29153v1
• Date: Wed, 27 May 2026 22:33:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.547339
• Title: Unveiling Multi-regime Patterns in SciML: Distinct Failure Modes and Regime-specific Optimization
• Title（参考訳）: SciMLにおける複数登録パターンの展開:特定障害モードとレジーム固有最適化
• Authors: Yuxin Wang, Yuanzhe Hu, Xiaokun Zhong, Xiaopeng Wang, Haiquan Lu, Tianyu Pang, Michael W. Mahoney, Yujun Yan, Pu Ren, Yaoqing Yang,
• Abstract要約: 本研究では,科学機械学習(SciML)モデルにおけるこのようなマルチレジリエムの挙動を,レシシカル・アウェア・診断・フレームワークを用いて検討する。 i) 多くの標準SciMLモデル、異なる制約執行、および様々な設計で一貫した3つの登録構造が出現し、 (ii)最適化効率はシステマ固有であり、すべてのレギュマでうまく機能する単一の手法が存在しない、 (iii)SciMLモデルは、標準ロスランドスケープメトリクスの従来の解釈に挑戦できるきめ細かい障害モードを示すことができる。
• 参考スコア（独自算出の注目度）: 72.59989168322774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks trained under different hyperparameter settings can fall into distinct training "regimes," with consistent behavior within regimes and qualitative differences across regimes. In this paper, we study such multi-regime behavior in scientific machine learning (SciML) models through a regime-aware diagnostic framework that jointly analyzes performance, training dynamics, and loss-landscape geometry. We identify three key findings: (i) a consistent three-regime structure emerges across many standard SciML models, different constraint enforcements, and various optimizer designs; (ii) optimization effectiveness is regime-specific, with no single method performing well across all regimes; and (iii) SciML models can exhibit fine-grained failure modes that can challenge conventional interpretations of standard loss-landscape metrics. Our results provide an approach to establish a unified, task-oblivious perspective on failure modes in SciML and to inform regime-aware guidance for improving robustness. We validate these findings across widely-used SciML models, including physics-informed neural networks, neural operators, and neural ordinary differential equations, on benchmarks spanning representative ordinary and partial differential equations.
• Abstract（参考訳）: 異なるハイパーパラメータ設定下でトレーニングされたニューラルネットワークは、レジーム内の一貫した振る舞いとレジーム間の定性的な差異によって、異なるトレーニング"レジーム"に陥る可能性がある。 本稿では,科学機械学習(SciML)モデルにおけるそのようなマルチレジリエムの挙動を,性能,トレーニングダイナミクス,損失景観形状を共同で解析するレシック・アウェア・診断フレームワークを用いて検討する。 主な発見は3つあります。 (i)多くの標準SciMLモデル、異なる制約執行、および様々なオプティマイザ設計に一貫した3つの登録構造が出現する。 (二)最適化の効力は制度に特有であり、すべての制度でうまく機能する単一の方法がない。 (iii)SciMLモデルは、標準的なロスランドスケープメトリクスの従来の解釈に挑戦できる、きめ細かい障害モードを示すことができる。 本研究は,SciMLにおける障害モードの統一的かつタスク指向的な視点を確立し,ロバスト性向上のためのレギュラー対応ガイダンスを通知するアプローチを提供する。 一般偏微分方程式と偏微分方程式を対象とするベンチマークにおいて, 物理インフォームドニューラルネットワーク, ニューラル演算子, ニューラル常微分方程式など, 広く利用されているSciMLモデルにまたがってこれらの知見を検証した。

関連論文リスト

• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Introduction to optimization methods for training SciML models [4.970277730082773]
  最適化は現代の機械学習(ML)と科学機械学習(SciML)の両方の中心である この文書は、MLとSciMLにおける最適化手法の統一的な導入を提供し、問題構造がどのようにアルゴリズムの選択を形作るかを強調している。
  論文  参考訳（メタデータ） (2026-01-15T09:36:15Z)
• FMint-SDE: A Multimodal Foundation Model for Accelerating Numerical Simulation of SDEs via Error Correction [7.463977095236658]
  本稿では、微分方程式の大規模シミュレーションのための新しいマルチモーダル基礎モデル(FMint-SDE)を提案する。 FMint-SDEは、コンテキスト内学習を備えたデコーダのみの変換器に基づいて、普遍的な誤り訂正スキームを学習する。 分子動力学、機械システム、ファイナンス、生物学の応用にまたがる、難解なSDEベンチマークのスイートで、我々のモデルを評価した。
  論文  参考訳（メタデータ） (2025-10-31T04:49:41Z)
• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• On Linear Mode Connectivity of Mixture-of-Experts Architectures [1.6747713135100666]
  ニューラルネットワークにおける線形モード接続(LMC)現象について検討する。 LMCは、ニューラルネットワークのロスランドスケープにおいて顕著な現象であり、独立に訓練されたモデルが、アルゴリズムの様々な対称性まで接続されることになっている。
  論文  参考訳（メタデータ） (2025-09-14T16:51:41Z)
• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• A Competitive Learning Approach for Specialized Models: A Solution for Complex Physical Systems with Distinct Functional Regimes [0.0]
  本稿では,物理システムのデータ駆動モデルを得るための新たな競合学習手法を提案する。 提案手法の背景にある基本的な考え方は、データに基づいて同時にトレーニングされたモデルの集合に対して、動的損失関数を使用することである。
  論文  参考訳（メタデータ） (2023-07-19T23:29:40Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。