論文の概要: Interpretability and Generalization Bounds for Learning Spatial Physics

• arxiv url: http://arxiv.org/abs/2506.15199v1
• Date: Wed, 18 Jun 2025 07:25:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.570665
• Title: Interpretability and Generalization Bounds for Learning Spatial Physics
• Title（参考訳）: 空間物理学学習のための解釈可能性と一般化境界
• Authors: Alejandro Francisco Queiruga, Theo Gutman-Solo, Shuai Jiang,
• Abstract要約: この研究は、微分方程式の数値解析の厳密さを機械学習に適用し、異なるML手法を適用する精度を具体的に定量化する。 有限データ離散化と制限付きトレーニングデータ部分空間の下での一般化境界と収束率を証明した。 同様の一般化の欠如は、深い線形モデル、浅いニューラルネットワーク、物理固有のDeepONetsやNeural Operatorに対して実証的に証明されている。
• 参考スコア（独自算出の注目度）: 47.664155239439644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While there are many applications of ML to scientific problems that look promising, visuals can be deceiving. For scientific applications, actual quantitative accuracy is crucial. This work applies the rigor of numerical analysis for differential equations to machine learning by specifically quantifying the accuracy of applying different ML techniques to the elementary 1D Poisson differential equation. Beyond the quantity and discretization of data, we identify that the function space of the data is critical to the generalization of the model. We prove generalization bounds and convergence rates under finite data discretizations and restricted training data subspaces by analyzing the training dynamics and deriving optimal parameters for both a white-box differential equation discovery method and a black-box linear model. The analytically derived generalization bounds are replicated empirically. Similar lack of generalization is empirically demonstrated for deep linear models, shallow neural networks, and physics-specific DeepONets and Neural Operators. We theoretically and empirically demonstrate that generalization to the true physical equation is not guaranteed in each explored case. Surprisingly, we find that different classes of models can exhibit opposing generalization behaviors. Based on our theoretical analysis, we also demonstrate a new mechanistic interpretability lens on scientific models whereby Green's function representations can be extracted from the weights of black-box models. Our results inform a new cross-validation technique for measuring generalization in physical systems. We propose applying it to the Poisson equation as an evaluation benchmark of future methods.
• Abstract（参考訳）: 有望に見える科学的な問題に対するMLの応用はたくさんあるが、視覚学は無視できる。 科学的応用においては、実際の量的精度が重要である。 本研究は, 基本1次元ポアソン微分方程式に異なるML手法を適用する精度を具体的に定量化することにより, 微分方程式の数値解析を機械学習に適用する。 データの量と離散化の他に、データの関数空間がモデルの一般化に不可欠であることを示す。 有限データ離散化および制限されたトレーニングデータ部分空間の下での一般化境界と収束率を、トレーニング力学を解析し、ホワイトボックス微分方程式探索法とブラックボックス線形モデルの両方に対して最適パラメータを導出することによって証明する。 解析的に導出された一般化境界は経験的に複製される。 同様の一般化の欠如は、深い線形モデル、浅いニューラルネットワーク、物理固有のDeepONetsやNeural Operatorに対して実証的に証明されている。 理論的および経験論的に、真の物理方程式への一般化は、探索された各ケースにおいて保証されないことを実証する。 驚くべきことに、異なるモデルのクラスは反対の一般化挙動を示すことができる。 理論解析に基づいて,黒箱モデルの重みからグリーン関数表現を抽出できる科学モデル上で,新しいメカニスティック解釈性レンズを実証する。 そこで本研究では,物理系における一般化を計測するための新しいクロスバリデーション手法について報告する。 今後の手法の評価ベンチマークとして,ポアソン方程式に適用することを提案する。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Discovering Interpretable Physical Models using Symbolic Regression and Discrete Exterior Calculus [55.2480439325792]
  本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。 DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。 実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-10T13:23:05Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Physics-Informed Gaussian Process Regression Generalizes Linear PDE Solvers [32.57938108395521]
  線形偏微分方程式と呼ばれる力学モデルのクラスは、熱伝達、電磁気、波動伝播などの物理過程を記述するために用いられる。 離散化に基づく特殊数値法はPDEの解法として用いられる。 パラメータや測定の不確実性を無視することで、古典的なPDE解法は固有の近似誤差の一貫した推定を導出できない可能性がある。
  論文  参考訳（メタデータ） (2022-12-23T17:02:59Z)
• AutoIP: A United Framework to Integrate Physics into Gaussian Processes [15.108333340471034]
  あらゆる微分方程式をガウス過程に統合できる枠組みを提案する。 本手法は,シミュレーションと実世界の応用の両方において,バニラGPの改善を示す。
  論文  参考訳（メタデータ） (2022-02-24T19:02:14Z)
• Out-of-Distribution Generalization in Kernel Regression [21.958028127426196]
  トレーニングとテストの分布が異なる場合のカーネル回帰の一般化について検討する。 与えられたカーネルの分布間のミスマッチを定量化する重なり行列を同定する。 本研究では,データ予算に対するトレーニングとテストの配分を最適化する手法を開発し,そのシフトの下で最良のケースと最悪のケースの一般化を求める。
  論文  参考訳（メタデータ） (2021-06-04T04:54:25Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Discovery of Nonlinear Dynamical Systems using a Runge-Kutta Inspired Dictionary-based Sparse Regression Approach [9.36739413306697]
  機械学習と辞書ベースの学習を数値解析ツールと組み合わせ,微分方程式の制御を探索する。 我々は、サンプリング体制を超えてよりよく一般化しやすい解釈可能で準同型モデルを得る。 生物ネットワークに通常現れる有理非線形性を含む支配方程式の拡張について論じる。
  論文  参考訳（メタデータ） (2021-05-11T08:46:51Z)
• Non-parametric Models for Non-negative Functions [48.7576911714538]
  同じ良い線形モデルから非負関数に対する最初のモデルを提供する。 我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
  論文  参考訳（メタデータ） (2020-07-08T07:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。