論文の概要: On sparse regression, Lp-regularization, and automated model discovery
- arxiv url: http://arxiv.org/abs/2310.06872v2
- Date: Tue, 16 Jan 2024 00:20:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 01:24:57.327583
- Title: On sparse regression, Lp-regularization, and automated model discovery
- Title（参考訳）: スパース回帰、Lp規則化、および自動モデル発見について
- Authors: Jeremy A. McCulloch, Skyler R. St. Pierre, Kevin Linka, Ellen Kuhl
- Abstract要約: Lp正規化ニューラルネットワークは、解釈可能なモデルと物理的に意味のあるパラメータの両方を同時に検出できることを示す。
データから物質モデルを自動的に発見する能力は、生成材料設計に多大な応用をもたらす可能性がある。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse regression and feature extraction are the cornerstones of knowledge
discovery from massive data. Their goal is to discover interpretable and
predictive models that provide simple relationships among scientific variables.
While the statistical tools for model discovery are well established in the
context of linear regression, their generalization to nonlinear regression in
material modeling is highly problem-specific and insufficiently understood.
Here we explore the potential of neural networks for automatic model discovery
and induce sparsity by a hybrid approach that combines two strategies:
regularization and physical constraints. We integrate the concept of Lp
regularization for subset selection with constitutive neural networks that
leverage our domain knowledge in kinematics and thermodynamics. We train our
networks with both, synthetic and real data, and perform several thousand
discovery runs to infer common guidelines and trends: L2 regularization or
ridge regression is unsuitable for model discovery; L1 regularization or lasso
promotes sparsity, but induces strong bias; only L0 regularization allows us to
transparently fine-tune the trade-off between interpretability and
predictability, simplicity and accuracy, and bias and variance. With these
insights, we demonstrate that Lp regularized constitutive neural networks can
simultaneously discover both, interpretable models and physically meaningful
parameters. We anticipate that our findings will generalize to alternative
discovery techniques such as sparse and symbolic regression, and to other
domains such as biology, chemistry, or medicine. Our ability to automatically
discover material models from data could have tremendous applications in
generative material design and open new opportunities to manipulate matter,
alter properties of existing materials, and discover new materials with
user-defined properties.
- Abstract（参考訳）: スパース回帰と特徴抽出は、大量のデータから知識発見の基盤となる。
彼らの目標は、科学変数間の単純な関係を提供する解釈可能で予測可能なモデルを見つけることである。
モデル発見のための統計ツールは線形回帰の文脈で十分に確立されているが、物質モデリングにおける非線形回帰への一般化は問題固有であり、十分に理解されていない。
ここでは、モデルの自動発見のためのニューラルネットワークの可能性を探り、正規化と物理的制約という2つの戦略を組み合わせたハイブリッドアプローチによりスパーシリティを誘導する。
我々は,Lp正則化の概念を,運動学と熱力学の分野知識を活用する構成的ニューラルネットワークと統合する。
L2正則化またはリッジ回帰はモデル発見には適さない; L1正則化またはラッソは疎性を促進するが、強いバイアスを引き起こす; L0正則化だけが、解釈可能性と予測可能性、単純性、正確性、偏見と偏見のトレードオフを透過的に微調整することができる。
これらの知見により、Lp正規化構成型ニューラルネットワークは、解釈可能なモデルと物理的に有意なパラメータの両方を同時に検出できることを示した。
我々の発見はスパースやシンボリックレグレッションといった代替発見技術や、生物学、化学、医学といった他の分野に一般化することを期待している。
データから物質モデルを自動的に発見する能力は、生成材料設計や、物質を操作する新たな機会、既存の材料の性質の変更、ユーザー定義プロパティによる新しい材料発見に多大な応用をもたらす可能性がある。
関連論文リスト
- Latent Variable Sequence Identification for Cognitive Models with Neural Bayes Estimation [7.7227297059345466]
本稿では,ニューラルベイズ推定を拡張して,実験データと対象変数空間との直接マッピングを学習する手法を提案する。
我々の研究は、リカレントニューラルネットワークとシミュレーションベースの推論を組み合わせることで、潜在変数配列を特定することで、研究者がより広範な認知モデルにアクセスできるようになることを強調している。
論文 参考訳（メタデータ） (2024-06-20T21:13:39Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - Exploring hyperelastic material model discovery for human brain cortex:
multivariate analysis vs. artificial neural network approaches [10.003764827561238]
本研究の目的は、ヒト脳組織において最も好ましい物質モデルを特定することである。
我々は、広く受け入れられている古典モデルの一般化に、人工ニューラルネットワークと多重回帰法を適用した。
論文 参考訳（メタデータ） (2023-10-16T18:49:59Z) - On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。
我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
論文 参考訳（メタデータ） (2023-07-28T13:22:32Z) - Discovering interpretable elastoplasticity models via the neural
polynomial method enabled symbolic regressions [0.0]
従来のニューラルネットワークの弾塑性モデルは、しばしば解釈可能性に欠けると見なされる。
本稿では,人間専門家が解釈可能な数学的モデルを返す2段階の機械学習手法を提案する。
論文 参考訳（メタデータ） (2023-07-24T22:22:32Z) - Variational Hierarchical Mixtures for Probabilistic Learning of Inverse
Dynamics [20.953728061894044]
適切に校正された確率回帰モデルは、データセットが急速に成長し、タスクがより複雑になるにつれて、ロボットアプリケーションにおいて重要な学習要素である。
計算効率のよい表現と計算複雑性の正規化を両世界の利点と組み合わせた確率論的階層的モデリングパラダイムを考察する。
これらの表現を学習するための2つの効率的な変分推論手法を導出し、階層的無限局所回帰モデルの利点を強調する。
論文 参考訳（メタデータ） (2022-11-02T13:54:07Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。