論文の概要: Differentiable modeling to unify machine learning and physical models
and advance Geosciences
- arxiv url: http://arxiv.org/abs/2301.04027v1
- Date: Tue, 10 Jan 2023 15:24:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 17:57:23.330490
- Title: Differentiable modeling to unify machine learning and physical models
and advance Geosciences
- Title(参考訳): 機械学習と物理モデルを統合する微分モデリングと地球科学の進歩
- Authors: Chaopeng Shen, Alison P. Appling, Pierre Gentine, Toshiyuki Bandai,
Hoshin Gupta, Alexandre Tartakovsky, Marco Baity-Jesi, Fabrizio Fenicia,
Daniel Kifer, Li Li, Xiaofeng Liu, Wei Ren, Yi Zheng, Ciaran J. Harman,
Martyn Clark, Matthew Farthing, Dapeng Feng, Praveen Kumar, Doaa Aboelyazeed,
Farshid Rahmani, Hylke E. Beck, Tadd Bindas, Dipankar Dwivedi, Kuai Fang,
Marvin H\"oge, Chris Rackauckas, Tirthankar Roy, Chonggang Xu, Kathryn Lawson
- Abstract要約: 微分可能地科学モデリング(DG)の概念,適用性,意義について概説する。
微分可能(differentiable)とは、モデル変数に関する勾配を正確かつ効率的に計算すること。
予備的な証拠は、DGが機械学習よりも優れた解釈可能性と因果性を提供することを示している。
- 参考スコア(独自算出の注目度): 49.36279970318617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Process-Based Modeling (PBM) and Machine Learning (ML) are often perceived as
distinct paradigms in the geosciences. Here we present differentiable
geoscientific modeling as a powerful pathway toward dissolving the perceived
barrier between them and ushering in a paradigm shift. For decades, PBM offered
benefits in interpretability and physical consistency but struggled to
efficiently leverage large datasets. ML methods, especially deep networks,
presented strong predictive skills yet lacked the ability to answer specific
scientific questions. While various methods have been proposed for ML-physics
integration, an important underlying theme -- differentiable modeling -- is not
sufficiently recognized. Here we outline the concepts, applicability, and
significance of differentiable geoscientific modeling (DG). "Differentiable"
refers to accurately and efficiently calculating gradients with respect to
model variables, critically enabling the learning of high-dimensional unknown
relationships. DG refers to a range of methods connecting varying amounts of
prior knowledge to neural networks and training them together, capturing a
different scope than physics-guided machine learning and emphasizing first
principles. Preliminary evidence suggests DG offers better interpretability and
causality than ML, improved generalizability and extrapolation capability, and
strong potential for knowledge discovery, while approaching the performance of
purely data-driven ML. DG models require less training data while scaling
favorably in performance and efficiency with increasing amounts of data. With
DG, geoscientists may be better able to frame and investigate questions, test
hypotheses, and discover unrecognized linkages.
- Abstract(参考訳): プロセスベースモデリング(PBM)と機械学習(ML)は、しばしば地球科学において異なるパラダイムと見なされる。
ここでは,その間の障壁を解消し,パラダイムシフトを導くための強力な経路として,微分可能な地学モデリングを提案する。
pbmは何十年もの間、解釈可能性と物理的一貫性の利点を提供してきたが、大規模なデータセットを効率的に活用するのに苦労した。
ML手法、特にディープネットワークは、強い予測スキルを示していたが、特定の科学的疑問に答える能力に欠けていた。
ML-物理統合のための様々な手法が提案されているが、重要なテーマである微分可能モデリングは十分に認識されていない。
ここでは、微分可能地科学モデリング(DG)の概念、適用性、意義について概説する。
微分可能」とは、モデル変数に関する勾配を正確かつ効率的に計算し、高次元の未知の関係の学習を可能にする。
DGは、様々な事前知識をニューラルネットワークに接続し、それらを一緒に訓練し、物理誘導機械学習とは異なるスコープを捉え、第一原理を強調する様々な方法を指す。
予備的な証拠は、DGがMLよりも優れた解釈可能性と因果性、一般化性と外挿能力の改善、知識発見の強力な可能性、そして純粋にデータ駆動型MLの性能にアプローチしていることを示している。
DGモデルは、データ量の増加とともに、パフォーマンスと効率を良好にスケーリングしながら、より少ないトレーニングデータを必要とする。
DGでは、地質学者は質問をフレーム化し、調査し、仮説を検証し、認識されていないリンクを発見することができる。
関連論文リスト
- Enhancing Dynamical System Modeling through Interpretable Machine
Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。
実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
論文 参考訳(メタデータ) (2024-01-16T14:58:21Z) - Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from
a Parametric Perspective [114.70886320845715]
大規模言語モデル(LLM)は本質的に、広範囲なコーパスの事前学習を通じて、パラメータ内の豊富な知識を符号化する。
本稿では,パラメトリックの観点から,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。
論文 参考訳(メタデータ) (2023-10-17T17:58:34Z) - Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。
PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。
提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2023-09-27T14:39:41Z) - Beyond Convergence: Identifiability of Machine Learning and Deep
Learning Models [0.0]
本研究では,モデルパラメータ識別可能性の概念を,モーションセンサデータからのパラメータ推定に焦点をあてたケーススタディにより検討する。
我々は、質量、剛性、平衡脚長などの主観的パラメータを推定するために、ディープニューラルネットワークを用いる。
その結果、観測データから特定のパラメータを特定できるが、他のパラメータは未同定のままであることがわかった。
論文 参考訳(メタデータ) (2023-07-21T03:40:53Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-07-16T05:41:53Z) - The Geometry of Self-supervised Learning Models and its Impact on
Transfer Learning [62.601681746034956]
自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。
本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
論文 参考訳(メタデータ) (2022-09-18T18:15:38Z) - Differentiable Agent-based Epidemiology [71.81552021144589]
GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。
GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
論文 参考訳(メタデータ) (2022-07-20T07:32:02Z) - Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。
潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
論文 参考訳(メタデータ) (2022-02-27T19:07:12Z) - From calibration to parameter learning: Harnessing the scaling effects
of big data in geoscientific modeling [2.9897531698031403]
本稿では,入力とパラメータのグローバルマッピングを効率的に学習する,微分可能なパラメータ学習フレームワークを提案する。
トレーニングデータが増加するにつれて、dPLはより良いパフォーマンス、より物理的コヒーレンス、より良い一般化性を達成する。
土壌の水分と流水から学んだ例を示し,dPLが既存の進化的・地域的手法を著しく上回った。
論文 参考訳(メタデータ) (2020-07-30T21:38:56Z) - Modeling System Dynamics with Physics-Informed Neural Networks Based on
Lagrangian Mechanics [3.214927790437842]
第一原則の手法は高いバイアスに悩まされるが、データ駆動モデリングは高いばらつきを持つ傾向がある。
本稿では,2つのモデリング手法を組み合わせて上記の問題を解くハイブリッドモデルであるPINODEについて述べる。
本研究の目的は,機械系のモデルベース制御とシステム同定である。
論文 参考訳(メタデータ) (2020-05-29T15:10:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。