論文の概要: Differentiable modeling to unify machine learning and physical models and advance Geosciences

• arxiv url: http://arxiv.org/abs/2301.04027v2
• Date: Wed, 27 Dec 2023 02:15:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 23:44:09.176737
• Title: Differentiable modeling to unify machine learning and physical models and advance Geosciences
• Title（参考訳）: 機械学習と物理モデルを統合する微分モデリングと地球科学の進歩
• Authors: Chaopeng Shen, Alison P. Appling, Pierre Gentine, Toshiyuki Bandai, Hoshin Gupta, Alexandre Tartakovsky, Marco Baity-Jesi, Fabrizio Fenicia, Daniel Kifer, Li Li, Xiaofeng Liu, Wei Ren, Yi Zheng, Ciaran J. Harman, Martyn Clark, Matthew Farthing, Dapeng Feng, Praveen Kumar, Doaa Aboelyazeed, Farshid Rahmani, Hylke E. Beck, Tadd Bindas, Dipankar Dwivedi, Kuai Fang, Marvin H\"oge, Chris Rackauckas, Tirthankar Roy, Chonggang Xu, Binayak Mohanty, Kathryn Lawson
• Abstract要約: 微分可能地科学モデリング(DG)の概念,適用性,意義について概説する。 微分可能(differentiable)とは、モデル変数に関する勾配を正確かつ効率的に計算すること。 予備的な証拠は、DGが機械学習よりも優れた解釈可能性と因果性を提供することを示している。
• 参考スコア（独自算出の注目度）: 38.92849886903847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Process-Based Modeling (PBM) and Machine Learning (ML) are often perceived as distinct paradigms in the geosciences. Here we present differentiable geoscientific modeling as a powerful pathway toward dissolving the perceived barrier between them and ushering in a paradigm shift. For decades, PBM offered benefits in interpretability and physical consistency but struggled to efficiently leverage large datasets. ML methods, especially deep networks, presented strong predictive skills yet lacked the ability to answer specific scientific questions. While various methods have been proposed for ML-physics integration, an important underlying theme -- differentiable modeling -- is not sufficiently recognized. Here we outline the concepts, applicability, and significance of differentiable geoscientific modeling (DG). "Differentiable" refers to accurately and efficiently calculating gradients with respect to model variables, critically enabling the learning of high-dimensional unknown relationships. DG refers to a range of methods connecting varying amounts of prior knowledge to neural networks and training them together, capturing a different scope than physics-guided machine learning and emphasizing first principles. Preliminary evidence suggests DG offers better interpretability and causality than ML, improved generalizability and extrapolation capability, and strong potential for knowledge discovery, while approaching the performance of purely data-driven ML. DG models require less training data while scaling favorably in performance and efficiency with increasing amounts of data. With DG, geoscientists may be better able to frame and investigate questions, test hypotheses, and discover unrecognized linkages.
• Abstract（参考訳）: プロセスベースモデリング(PBM)と機械学習(ML)は、しばしば地球科学において異なるパラダイムと見なされる。 ここでは,その間の障壁を解消し,パラダイムシフトを導くための強力な経路として,微分可能な地学モデリングを提案する。 pbmは何十年もの間、解釈可能性と物理的一貫性の利点を提供してきたが、大規模なデータセットを効率的に活用するのに苦労した。 ML手法、特にディープネットワークは、強い予測スキルを示していたが、特定の科学的疑問に答える能力に欠けていた。 ML-物理統合のための様々な手法が提案されているが、重要なテーマである微分可能モデリングは十分に認識されていない。 ここでは、微分可能地科学モデリング(DG)の概念、適用性、意義について概説する。 微分可能」とは、モデル変数に関する勾配を正確かつ効率的に計算し、高次元の未知の関係の学習を可能にする。 DGは、様々な事前知識をニューラルネットワークに接続し、それらを一緒に訓練し、物理誘導機械学習とは異なるスコープを捉え、第一原理を強調する様々な方法を指す。 予備的な証拠は、DGがMLよりも優れた解釈可能性と因果性、一般化性と外挿能力の改善、知識発見の強力な可能性、そして純粋にデータ駆動型MLの性能にアプローチしていることを示している。 DGモデルは、データ量の増加とともに、パフォーマンスと効率を良好にスケーリングしながら、より少ないトレーニングデータを必要とする。 DGでは、地質学者は質問をフレーム化し、調査し、仮説を検証し、認識されていないリンクを発見することができる。

関連論文リスト

• MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.68829963458408]
  異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。 MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。 MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
  論文  参考訳（メタデータ） (2024-04-20T08:34:39Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Enhancing Dynamical System Modeling through Interpretable Machine Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
  本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。 実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
  論文  参考訳（メタデータ） (2024-01-16T14:58:21Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
  本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。 PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。 提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-27T14:39:41Z)
• When Geoscience Meets Foundation Models: Towards General Geoscience Artificial Intelligence System [6.445323648941926]
  地球科学基礎モデル(Geoscience foundation model, GFMs)は、地球系の力学のシミュレーションと理解を強化するために、広範な学際データを統合するパラダイムシフトソリューションである。 GFMのユニークな長所は、フレキシブルなタスク仕様、多様な入出力能力、マルチモーダルな知識表現である。 このレビューは、先進的なAI技術と地球科学の交差点における未解決の機会を強調した、新興の地球科学研究パラダイムの包括的概要を提供する。
  論文  参考訳（メタデータ） (2023-09-13T08:44:09Z)
• Beyond Convergence: Identifiability of Machine Learning and Deep Learning Models [0.0]
  本研究では,モデルパラメータ識別可能性の概念を,モーションセンサデータからのパラメータ推定に焦点をあてたケーススタディにより検討する。 我々は、質量、剛性、平衡脚長などの主観的パラメータを推定するために、ディープニューラルネットワークを用いる。 その結果、観測データから特定のパラメータを特定できるが、他のパラメータは未同定のままであることがわかった。
  論文  参考訳（メタデータ） (2023-07-21T03:40:53Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)
• Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
  アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。 潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
  論文  参考訳（メタデータ） (2022-02-27T19:07:12Z)
• Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics [3.214927790437842]
  第一原則の手法は高いバイアスに悩まされるが、データ駆動モデリングは高いばらつきを持つ傾向がある。 本稿では,2つのモデリング手法を組み合わせて上記の問題を解くハイブリッドモデルであるPINODEについて述べる。 本研究の目的は,機械系のモデルベース制御とシステム同定である。
  論文  参考訳（メタデータ） (2020-05-29T15:10:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。