論文の概要: Interpreting and generalizing deep learning in physics-based problems with functional linear models
- arxiv url: http://arxiv.org/abs/2307.04569v2
- Date: Wed, 17 Apr 2024 15:16:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 00:26:13.221735
- Title: Interpreting and generalizing deep learning in physics-based problems with functional linear models
- Title（参考訳）: 関数線形モデルを用いた物理に基づく問題におけるディープラーニングの解釈と一般化
- Authors: Amirhossein Arzani, Lingxiao Yuan, Pania Newell, Bei Wang,
- Abstract要約: 解釈可能性は非常に重要であり、物理システムのモデリングにしばしば望まれる。
固体力学,流体力学,輸送の試験例を報告する。
本研究は,科学機械学習における解釈可能な表現の重要性を浮き彫りにする。
- 参考スコア（独自算出の注目度）: 1.1440052544554358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although deep learning has achieved remarkable success in various scientific machine learning applications, its opaque nature poses concerns regarding interpretability and generalization capabilities beyond the training data. Interpretability is crucial and often desired in modeling physical systems. Moreover, acquiring extensive datasets that encompass the entire range of input features is challenging in many physics-based learning tasks, leading to increased errors when encountering out-of-distribution (OOD) data. In this work, motivated by the field of functional data analysis (FDA), we propose generalized functional linear models as an interpretable surrogate for a trained deep learning model. We demonstrate that our model could be trained either based on a trained neural network (post-hoc interpretation) or directly from training data (interpretable operator learning). A library of generalized functional linear models with different kernel functions is considered and sparse regression is used to discover an interpretable surrogate model that could be analytically presented. We present test cases in solid mechanics, fluid mechanics, and transport. Our results demonstrate that our model can achieve comparable accuracy to deep learning and can improve OOD generalization while providing more transparency and interpretability. Our study underscores the significance of interpretable representation in scientific machine learning and showcases the potential of functional linear models as a tool for interpreting and generalizing deep learning.
- Abstract（参考訳）: ディープラーニングは様々な科学的機械学習応用において顕著な成功を収めてきたが、その不透明な性質は、学習データ以外の解釈可能性や一般化能力に関する懸念を招いている。
解釈可能性は非常に重要であり、物理システムのモデリングにしばしば望まれる。
さらに、多くの物理ベースの学習タスクにおいて、入力機能の全範囲を含む広範なデータセットを取得することは困難であり、アウト・オブ・ディストリビューション(OOD)データに遭遇する際のエラーの増加につながる。
本研究は,関数型データ解析(FDA)の分野を動機として,訓練された深層学習モデルの解釈可能なサロゲートとして一般化された関数型線形モデルを提案する。
我々のモデルは、トレーニングされたニューラルネットワーク(ポストホック解釈)や、トレーニングデータ(解釈可能な演算子学習)から直接トレーニングできることを実証する。
異なるカーネル関数を持つ一般化汎関数線形モデルのライブラリを考慮し、スパース回帰を用いて解析的に提示できる解釈可能な代理モデルを発見する。
固体力学,流体力学,輸送の試験例を報告する。
我々のモデルはディープラーニングと同等の精度を達成でき、透明性と解釈可能性を提供しながらOODの一般化を向上できることを示す。
本研究は, 科学的機械学習における解釈可能表現の重要性を強調し, 深層学習の解釈と一般化のためのツールとして, 機能線形モデルの可能性を示す。
関連論文リスト
- Complementary Learning for Real-World Model Failure Detection [15.779651238128562]
そこでは、異なる訓練パラダイムから学習特性を用いてモデルエラーを検出する。
我々は,制御的かつ自己管理的な方法で,点群における意味的および予測的動作ラベルを学習することにより,我々のアプローチを実証する。
大規模定性解析を行い、ライダー点雲にラベル付き異常を持つ最初のデータセットであるLidarCODAを提示する。
論文 参考訳（メタデータ） (2024-07-19T13:36:35Z) - Machine Learning vs Deep Learning: The Generalization Problem [0.0]
本研究では,従来の機械学習(ML)モデルとディープラーニング(DL)アルゴリズムの比較能力について,外挿の観点から検討した。
本稿では,MLモデルとDLモデルの両方が指数関数で学習され,学習領域外の値でテストされる経験的分析を提案する。
その結果,ディープラーニングモデルには,学習範囲を超えて一般化する固有の能力があることが示唆された。
論文 参考訳（メタデータ） (2024-03-03T21:42:55Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Learning Active Subspaces and Discovering Important Features with Gaussian Radial Basis Functions Neural Networks [0.0]
モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。
回帰,分類,特徴選択タスクの数値実験を行った。
その結果,提案モデルが競合モデルに比べて魅力的な予測性能が得られるだけでなく,予測性能も向上することが示唆された。
論文 参考訳（メタデータ） (2023-07-11T09:54:30Z) - Learning Latent Dynamics via Invariant Decomposition and
(Spatio-)Temporal Transformers [0.6767885381740952]
本研究では,高次元経験データから力学系を学習する手法を提案する。
我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。
我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
論文 参考訳（メタデータ） (2023-06-21T07:52:07Z) - Constructing Effective Machine Learning Models for the Sciences: A
Multidisciplinary Perspective [77.53142165205281]
線形回帰モデルに変数間の変換や相互作用を手動で追加することで、非線形解が必ずしも改善されないことを示す。
データ駆動モデルを構築する前にこれを認識する方法や、そのような分析が本質的に解釈可能な回帰モデルへの移行にどのように役立つかについて議論する。
論文 参考訳（メタデータ） (2022-11-21T17:48:44Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z) - Physics-Integrated Variational Autoencoders for Robust and Interpretable
Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。
本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。
合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文 参考訳（メタデータ） (2021-02-25T20:28:52Z) - Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。
従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。
本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2021-01-21T01:46:36Z) - A Framework to Learn with Interpretation [2.3741312212138896]
本稿では,予測モデルとその関連解釈モデルを共同で学習する新しい枠組みを提案する。
我々は,選択した隠れ層の出力を入力として取り込む,高レベル属性関数の小型辞書を求める。
学習した機能を視覚化する詳細なパイプラインも開発されている。
論文 参考訳（メタデータ） (2020-10-19T09:26:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。